درک RAG III: Fusion Retrieval and Reranking
تصویر توسط ویرایشگر | Midjourney & Canva
مقالات قبلی این مجموعه را بررسی کنید:
پس از اینکه قبلاً RAG چیست، چرا در زمینه مدل‌های زبان بزرگ (LLM) اهمیت دارد، و یک سیستم کلاسیک تولیدکننده رتریور برای RAG چگونه به نظر می‌رسد، سومین پست از سری «درک RAG» یک رویکرد ارتقا یافته را بررسی می‌کند. ساخت سیستم های RAG: بازیابی همجوشی.
قبل از غواصی عمیق، ارزش آن را دارد که به طور خلاصه طرح اصلی RAG را که در قسمت دوم این مجموعه بررسی کردیم، مرور کنیم.
طرح اصلی RAG
بازیابی فیوژن توضیح داده شد
رویکردهای بازیابی فیوژن شامل ادغام یا تجمیع جریان های اطلاعاتی متعدد در مرحله بازیابی یک سیستم RAG است. به یاد بیاورید که در طول مرحله بازیابی، بازیابی – یک موتور بازیابی اطلاعات – پرس و جوی کاربر اصلی را برای LLM می گیرد، آن را در یک نمایش عددی برداری رمزگذاری می کند و از آن برای جستجو در پایگاه دانش گسترده برای اسنادی استفاده می کند که به شدت با پرس و جو مطابقت دارند. پس از آن، پرس و جو اصلی با افزودن اطلاعات زمینه اضافی ناشی از اسناد بازیابی شده، افزوده می شود و در نهایت ورودی افزوده شده به LLM ارسال می شود که پاسخی را ایجاد می کند.
با اعمال طرح‌های ترکیبی در مرحله بازیابی، زمینه اضافه‌شده در بالای پرس و جو اصلی می‌تواند منسجم‌تر و مرتبط‌تر شود و پاسخ نهایی تولید شده توسط LLM را بیشتر بهبود بخشد. بازیابی فیوژن از دانش چندین سند (نتایج جستجو) استفاده می کند و آن را در یک زمینه معنادار و دقیق تر ترکیب می کند. با این حال، طرح اصلی RAG که قبلاً با آن آشنا هستیم همچنین می‌تواند چندین سند را از پایگاه دانش بازیابی کند، نه لزوماً فقط یک. بنابراین، تفاوت بین این دو رویکرد چیست؟
تفاوت کلیدی بین RAG کلاسیک و بازیابی فیوژن در نحوه پردازش اسناد بازیابی شده متعدد و ادغام در پاسخ نهایی نهفته است. در RAG کلاسیک، محتوای موجود در اسناد بازیابی شده به سادگی به هم پیوسته می شود یا حداکثر به صورت استخراجی خلاصه می شود و سپس به عنوان زمینه اضافی به LLM برای تولید پاسخ وارد می شود. هیچ تکنیک فیوژن پیشرفته ای اعمال نمی شود. در همین حال، در بازیابی فیوژن، مکانیسم های تخصصی تری برای ترکیب اطلاعات مرتبط در اسناد متعدد استفاده می شود. این فرآیند همجوشی می تواند در مرحله افزایش (مرحله بازیابی) یا حتی در مرحله تولید رخ دهد.
- فیوژن در مرحله افزایش شامل استفاده از تکنیک‌هایی برای مرتب کردن مجدد، فیلتر کردن یا ترکیب چندین سند قبل از ارسال به مولد می‌شود. دو نمونه از این موارد هستند رتبه بندی مجدد، که در آن اسناد قبل از وارد شدن به مدل در کنار درخواست کاربر، امتیاز بندی شده و بر اساس ارتباط مرتب می شوند، و تجمع، جایی که مرتبط ترین اطلاعات از هر سند در یک زمینه واحد ادغام می شود. تجمیع از طریق روش های کلاسیک بازیابی اطلاعات مانند TF-IDF (فرکانس مدت – فرکانس معکوس سند)، عملیات بر روی جاسازی ها و غیره اعمال می شود.
- فیوژن در مرحله تولید شامل LLM (مولد) است که هر سند بازیابی شده را به طور مستقل – از جمله درخواست کاربر – پردازش می کند و اطلاعات چندین کار پردازشی را در طول تولید پاسخ نهایی ترکیب می کند. به طور کلی، مرحله تقویت در RAG بخشی از مرحله تولید می شود. یکی از روش‌های رایج در این دسته، Fusion-in-Decoder (FiD) است که به LLM اجازه می‌دهد هر سند بازیابی شده را جداگانه پردازش کند و سپس بینش خود را در حین ایجاد پاسخ نهایی ترکیب کند. رویکرد FiD به تفصیل در شرح داده شده است این مقاله.
رتبه‌بندی مجدد یکی از ساده‌ترین و در عین حال مؤثرترین رویکردهای ترکیبی برای ترکیب معنادار اطلاعات از چندین منبع بازیابی شده است. بخش بعدی به طور مختصر نحوه عملکرد آن را توضیح می دهد:
چگونه رتبه بندی مجدد کار می کند
در یک فرآیند رتبه‌بندی مجدد، مجموعه اولیه اسنادی که توسط بازیابی کننده دریافت می‌شود، مجدداً مرتب می‌شوند تا ارتباط با درخواست کاربر بهبود یابد، در نتیجه نیازهای کاربر را بهتر برآورده کرده و کیفیت خروجی کلی را افزایش می‌دهد. بازیابی اسناد واکشی شده را به یک جزء الگوریتمی به نام a ارسال می کند رتبه بندی، که معیارهای مبتنی بر نتایج بازیابی شده را مجدداً ارزیابی می کند، مانند ترجیحات کاربر آموخته شده، و مرتب سازی اسناد را با هدف به حداکثر رساندن ارتباط نتایج ارائه شده به آن کاربر خاص اعمال می کند. مکانیسم هایی مانند میانگین وزنی یا سایر اشکال امتیاز دهی برای ترکیب و اولویت بندی اسناد در بالاترین موقعیت های رتبه بندی استفاده می شود، به طوری که محتوای اسنادی که در نزدیکی بالاترین رتبه بندی شده اند به احتمال زیاد به بخشی از متن نهایی و ترکیبی تبدیل می شوند تا محتوایی اسناد رتبه بندی شده در موقعیت های پایین تر
نمودار زیر مکانیسم رتبه بندی مجدد را نشان می دهد:
فرآیند رتبه بندی مجدد
بیایید برای درک بهتر رتبه بندی مجدد در زمینه گردشگری در شرق آسیا مثالی را شرح دهیم. مسافری را تصور کنید که در حال جستجوی سیستم RAG برای “مقاصد برتر برای دوستداران طبیعت در آسیا” است. یک سیستم بازیابی اولیه ممکن است فهرستی از اسناد شامل راهنمای عمومی سفر، مقالاتی در مورد شهرهای محبوب آسیایی و توصیه‌هایی برای پارک‌های طبیعی را به شما بازگرداند. با این حال، یک مدل رتبه‌بندی مجدد، احتمالاً با استفاده از اولویت‌های خاص مسافر و داده‌های متنی اضافی (مانند فعالیت‌های ترجیحی، فعالیت‌های دوست‌داشتنی قبلی یا مقصدهای قبلی)، می‌تواند این اسناد را مجدداً مرتب کند تا مرتبط‌ترین محتوا را برای آن کاربر اولویت‌بندی کند. ممکن است پارک‌های ملی آرام، مسیرهای پیاده‌روی کمتر شناخته‌شده و تورهای دوستدار محیط‌زیست را برجسته کند که ممکن است در بالای فهرست پیشنهادات همه قرار نگیرند، در نتیجه نتایجی را ارائه می‌دهد که «مستقیم به نقطه» برای گردشگران طبیعت‌دوست مانند هدف ما ارائه می‌شود. کاربر.
به طور خلاصه، رتبه‌بندی مجدد چندین اسناد بازیابی شده را بر اساس معیارهای مربوط به کاربر اضافی سازمان‌دهی می‌کند تا فرآیند استخراج محتوا را در اسنادی که رتبه اول را دارند متمرکز کند، در نتیجه ارتباط پاسخ‌های تولید شده بعدی را بهبود می‌بخشد.
درباره ایوان پالومارس کاراسکوزا
ایوان پالومارس کاراسکوزا یک رهبر، نویسنده، سخنران و مشاور در AI، یادگیری ماشین، یادگیری عمیق و LLM است. او دیگران را در استفاده از هوش مصنوعی در دنیای واقعی آموزش می دهد و راهنمایی می کند.
