نویسنده(های): جوزف رابینسون، Ph.D.
در ابتدا منتشر شد به سمت هوش مصنوعی.
از گرادیان نزول به روش پولیاک: الف یادگیری ماشینی آموزش
این داستان فقط برای اعضا در اختیار ماست. برای دسترسی به تمام Medium ارتقا دهید.
Polyak Averaging یک تکنیک بهینه‌سازی قدرتمند است که اغلب کمتر مورد استفاده قرار می‌گیرد، اما می‌تواند پیشرفت‌های قابل‌توجهی در سرعت و پایداری همگرایی برای الگوریتم‌های بهینه‌سازی تکرار شونده به همراه داشته باشد (به عنوان مثال، شیب نزول).
این تکنیک که به نام ریاضیدان بوریس پولیاک نامگذاری شده است، به ویژه در سناریوهایی که شیب های پر سر و صدا یا به روز رسانی های ناپایدار یادگیری را کند می کنند، موثر است.
ما در مورد Polyak Averaging، ساختار ریاضی آن و مقایسه آن با شیب نزولی سنتی آشنا خواهیم شد. سپس آن را در پایتون پیاده سازی می کنیم و مزایای عملی آن را با مثال های عملی نشان می دهیم.
· 1. میانگین گیری پولیاک چیست؟ 2. ریاضیات پشت میانگین گیری پولیاک ∘ نزول گرادیان استاندارد: ∘ میانگین گیری پولیاک: 3. چرا از میانگین گیری پولیاک استفاده کنیم؟ مزایا و شهود · 4. پیاده سازی Polyak Averaging (از ابتدا) · 5. مثال عملی: Gradient Descent در مقابل Polyak Averaging ∘ A. تابع خطی ∘ B. تابع درجه دوم ∘ C. Rosenbrock Function Aclu· 6.
Polyak Averaging برای بهبود پایداری و عملکرد الگوریتم‌های بهینه‌سازی تکراری مانند نزول گرادیان طراحی شده است. ایده این است که پارامترهای یک مدل (یعنی وزن‌ها) را در چندین تکرار به‌جای فرض کردن مقادیر آنها در تکرار نهایی، میانگین کنیم.
این مدل میانگین می تواند تعمیم بهتری به دست دهد… وبلاگ کامل را به صورت رایگان در Medium بخوانید.
منتشر شده از طریق به سمت هوش مصنوعی