ادغام Apache Beam SDK Harness به عنوان Sidecars: معماری اثبات شده با Codebase


نویسنده(های): محمود ر ماننا

در ابتدا منتشر شد به سمت هوش مصنوعی.

استقرار پایتون مشاغل در سرورهای Flink در Kubernetes با MinIOمنبع: تصویر توسط نویسنده با استفاده از هوش مصنوعی

این داستان فقط برای اعضا در اختیار ماست. برای دسترسی به تمام Medium ارتقا دهید.

لینک برای افراد غیر عضو:

اجرای Apache Beam بر روی سرور Flink با یک سرور شغلی قابل حمل در Kubernetes یک معماری موثر برای یک آگنوستیک ارائه می دهد. ML گردش کار در حالی که اسناد گسترده ای برای Apache Beam و Apache Flink به طور جداگانه وجود دارد، راهنماهای جامعی که آنها را در یک خط لوله منسجم و سرتاسر ادغام می کند – کامل با نمونه های کد و دستورالعمل های دقیق – حتی ابزارهایی مانند Copilot و ChatGPT o1 کمیاب هستند. این کمبود، راه اندازی و اجرای چنین تنظیماتی را به صورت محلی با استفاده از Minikube دشوار می کند، به خصوص هنگام شبیه سازی یک محیط تولید.

این راهنما یک راهنمای گام به گام برای پیکربندی یک آگنوستیک ارائه می دهد ML گردش کار با استفاده از Apache Beam و Flink در Minikube با Python SDK. با پیروی از این راهنما، شکاف مستندات را پر می‌کنید و فرآیند راه‌اندازی خود را ساده‌تر می‌کنید، و به شما امکان می‌دهد تا به طور موثر گردش‌های کاری ML خود را در محیط Kubernetes شبیه‌سازی و استقرار دهید.

منبع: تصویر توسط نویسنده با استفاده از هوش مصنوعی

Apache Beam یک ابزار استثنایی برای گردش کار یادگیری ماشین آگنوستیک است. این به شما امکان می‌دهد تا کارهایی را در Python، Java، Go یا Scala بنویسید و آنها را در رانرهای مختلفی مانند Spark یا Flink با همان زبان SDK Harness اجرا کنید. این انعطاف… وبلاگ کامل را به صورت رایگان در Medium بخوانید.

منتشر شده از طریق به سمت هوش مصنوعی



منبع: https://towardsai.net/p/machine-learning/integrating-apache-beam-sdk-harness-as-sidecars-a-proven-architecture-with-codebase