نویسنده (ها): نهدی
در ابتدا منتشر شده در به سمت هوش مصنوعیبشر
این سومین مقاله در سریال Deepseek-V3 ما است ، جایی که ما یک پیشرفت مهم معماری در Deepseek را کشف می کنیم [1, 2, 3] مدل های مربوط به مخلوط کردن از کارآزمایی ها (MOE): متعادل کننده بار کمکی از بین رفتن [5]بشر
در این مقاله ، ما بررسی خواهیم کرد که چگونه Deepseek به تنگناهای پنهان MOE-تعادل بار-ضمن از بین بردن تداخل شیب و حفظ علیت ، تعیین می کند و استاندارد جدیدی را برای کارآیی در مدلهای مبتنی بر متخصص ایجاد می کند.
اگر علاقه مند به کاوش بیشتر سریال Deepseek هستید – جایی که ما نوآوری های معماری و استراتژی های آموزشی را که باعث موفقیت Deepseek می شود ، تجزیه می کنیم – این مقالات را بررسی کنید:
قسمت 1: توجه نهفته چند سر 2: Deepseekmoe
فهرست مطالب این مقاله:
سابقه و هدف: به معرفی مبانی مخلوط کنفرانس (MOE) ، اهمیت تعادل بار را توضیح دهید ، و کارهای قبلی را بررسی کنید ، از جمله روش های ضرر کمکی و انتخاب متخصص. Deepseek’s Leactiariary-Loss-Lost Balancing: توضیح دهید مکانیزم نحوه کار: ارزیابی: در مورد عملکرد تکنیک Balled Loadiqueance.Summary.References.References.
MOE مخفف مخلوط کردن متخصصان است و در زمینه مدل های ترانسفورماتور ، این به طور معمول شامل جایگزینی FFN در هر چند لایه ترانسفورماتور با چندین FFN است که هر یک به عنوان یک متخصص عمل می کنند. هنگامی که یک نشانه ورودی پردازش می شود ، یک عملیات شیروانی متخصصان Top-K را انتخاب می کند و نشانه را به… وبلاگ کامل را به صورت رایگان در رسانه بخوانیدبشر
منتشر شده از طریق به سمت هوش مصنوعی