تولید و تجسم بردارهای زمینه در ترانسفورماتورها

این پست به سه قسمت تقسیم می شود. آنها عبارتند از: • درک بردارهای زمینه • تجسم بردارهای متن از لایه های مختلف • تجسم الگوهای توجه بر خلاف تعبیه کلمات سنتی (مانند Word2VEC یا دستکش) ، که یک وکتور ثابت را بدون در نظر گرفتن متن به هر کلمه اختصاص می دهد ، مدل های ترانسفورماتور بازنمودهای پویا را ایجاد می کنند که به کلمات اطراف بستگی دارد.



منبع: machinelearningmastery.com