نویسنده (ها): مارچلو سیاسی
در ابتدا منتشر شده در به سمت هوش مصنوعیبشر
شیرجه ملایم به اینکه چگونه توجه به شبکه های عصبی کمک می کند بهتر به یاد بیاورند و کمتر فراموش کنند
مکانیسم توجه اغلب با معماری ترانسفورماتور همراه است ، اما قبلاً در RNN ها استفاده می شد. در ترجمه ماشین یا کارهای MT (به عنوان مثال ، انگلیسی-ایتالیایی) ، هنگامی که می خواهید کلمه ایتالیایی بعدی را پیش بینی کنید ، برای تمرکز یا توجه به مهمترین کلمات انگلیسی که برای ترجمه خوب مفید هستند ، به مدل خود نیاز دارید.
من به جزئیات RNN ها نخواهم رسید ، اما توجه به این مدل ها کمک کرد تا مشکل شیب ناپدید شده را کاهش داده و وابستگی های دوربرد را در بین کلمات ضبط کنند.
در یک نقطه خاص ، ما فهمیدیم که تنها چیز مهم مکانیسم توجه و کل است رفیق معماری بیش از حد بود. از این رو ، توجه همه شما نیاز دارید!
توجه کلاسیک نشان می دهد که کلمات در دنباله خروجی باید توجه را در رابطه با کلمات در دنباله ورودی متمرکز کنند. این در کارهای توالی به توالی مانند MT مهم است.
توجه خود نوع خاصی از توجه است. بین هر دو عنصر در همان دنباله کار می کند. این اطلاعات در مورد چگونگی “همبستگی” کلمات در یک جمله را ارائه می دهد.
برای یک نشان داده شده (یا کلمه) در یک دنباله ، خود توجه لیستی از وزن های توجه را که مربوط به سایر نشانه های دیگر در دنباله است ، ایجاد می کند. این وبلاگ کامل را به صورت رایگان در رسانه بخوانیدبشر
منتشر شده از طریق به سمت هوش مصنوعی
