این مقاله به چهار بخش تقسیم شده است؛ آنها عبارتند از: • آماده سازی اسناد • ایجاد جفت جملات از سند • پوشاندن نشانه ها • ذخیره داده های آموزشی برای استفاده مجدد برخلاف مدل های فقط رمزگشا، پیش آموزش BERT پیچیده تر است.
منبع: machinelearningmastery.com
