نویسنده (ها): جیتا گلاتی
در ابتدا منتشر شده در به سمت هوش مصنوعیبشر
در دنیای هوش مصنوعی و chatbots ، دیدن مدل های زبان متن مانند انسان بسیار هیجان انگیز است. اما یک مشکل بزرگ وجود دارد: این مدل ها همیشه همه چیز را نمی دانند. آنها فقط بر اساس داده هایی که در آنها آموزش داده شده پاسخ می دهند. اگر می خواهید مدل شما به سؤالات مربوط به اسناد سفارشی ، ویکی شرکت یا مقالات اخیر پاسخ دهد ، چه می شود؟
این جایی است که نسل بازیابی (RAG) وارد می شود.
RAG به مدل های زبان کمک می کند تا قبل از پاسخ دادن به آنها “به نظر برسد” باهوش تر و مفیدتر شوند. این مقاله شما را از طریق ساخت یک خط لوله RAG با استفاده از ابزارهای محبوب منبع باز: بغل کردن ترانسفورماتورهای صورت ، FAISS برای جستجوی شباهت و Sentencetransformers برای رمزگذاری پیاده روی می کند.
بازیابی-آگوت نسل (RAG) روشی است که چگونه مدل های زبان با اجازه دادن به آنها به آنها اجازه می دهند قبل از ایجاد پاسخ ، اطلاعات مربوطه را از منابع خارجی بازیابی کنند.
مدل های سنتی مانند GPT یا BERT متن را فقط بر اساس آنچه در طول آموزش آموخته اند ، ایجاد می کنند ، این بدان معنی است که آنها نمی توانند به داده های جدید یا پویا دسترسی پیدا کنند مگر اینکه دوباره آموزش داده شوند. این یک محدودیت اساسی است ، به خصوص در برنامه های دنیای واقعی مانند پشتیبانی مشتری یا پرسش و پاسخ پزشکی.
RAG این کار را با شکستن روند به دو بخش حل می کند:
بازیابی – جستجوی بخش های مربوط به اسناد مربوط به سوال کاربر. تولید – از یک مدل زبان (مانند BART یا T5) استفاده کنید … وبلاگ کامل را به صورت رایگان در رسانه بخوانیدبشر
منتشر شده از طریق به سمت هوش مصنوعی
