RAGate: RAG سازگار برای هوش مصنوعی مکالمه

نویسنده(های): روپالی پاتیل

در ابتدا منتشر شد به سمت هوش مصنوعی.

ساختن سیستم های هوش مصنوعی محاوره ای سخت است!!!

این امکان پذیر است اما همچنین پیچیده، زمان بر و منابع فشرده.

چالش در طراحی سیستم‌هایی است که می‌توانند پاسخ‌های انسان‌مانند را درک کرده و ایجاد کنند و اطمینان حاصل شود که این سیستم‌ها به طور موثر کاربران را درگیر می‌کنند و با تفاوت‌های ظریف گفتگو تطبیق می‌دهند.

بسیار محبوب RAG (نسل افزایش یافته بازیابی) با ادغام یکپارچه دانش خارجی با دانش داخلی LLM، هوش مصنوعی محاوره ای را متحول کرده است. با استفاده از RAG با داده‌های کسب‌وکارتان، مشتریان شما می‌توانند در مورد داده‌هایشان سؤال بپرسند زبان طبیعی، یک تعامل یکپارچه را تسهیل می کند.

با این حال، یک هشدار وجود دارد: در حین استفاده از RAG، مشخص می‌شود که هر پرسشی به پاسخی که منبع آن «دانش خارجی» باشد نیاز ندارد. اتکای بیش از حد به منابع خارجی می تواند تعامل واقعی را مختل کند. مثل این است که با یک نفر مکالمه داشته باشید و برای هر سوالی به دنبال کتابی باشید تا پاسخ خود را بسازید، حتی اگر از قبل درک عمیق تری از موضوع داشته باشید. حتی بدتر از آن، شما نمی توانید هیچ کتابی در مورد این موضوع پیدا کنید و با وجود داشتن دانش داخلی که می تواند پاسخ روشن تری ارائه دهد، در نهایت با “نمی دانم” پاسخ می دهید.

واضح است که هنگام استفاده از RAG، مکانیسمی برای تعیین زمان استفاده از «دانش خارجی» در مقابل «دانش داخلی» در زمان استنتاج مورد نیاز است.

وارد کنید RAGate – یک سوئیچ باینری که برای ارزیابی پویا طراحی شده است که چه زمانی باید از دانش خارجی استفاده کرد و چه زمانی باید بر بینش های داخلی تکیه کرد. توسط شی وانگ، پروچتا سن، رویژه لی و امین یلماز معرفی و در ژوئیه 2024 منتشر شد. ArXiv (بازیابی تطبیقی-نسل افزوده شده برای سیستم های مکالمه).

بیایید با مثال بیشتر بیاموزیم.

به راستی هوش مصنوعی محاوره ای چیست؟

گفتگو تبادل افکار، عواطف و اطلاعات بین افراد است که با لحن، زمینه و نشانه های ظریفی که تعامل را هدایت می کند، سازگار می شود. انسان ها به دلیل ویژگی هایی مانند هوش عاطفی، اجتماعی شدن و قرار گرفتن در معرض فرهنگی به طور طبیعی برای گفتگو مناسب هستند که به ما کمک می کند تا تفاوت های ظریف را درک کنیم و با زمینه های مختلف اجتماعی سازگار شویم.

هوش مصنوعی مکالمه ای هدف این است که این تعامل شبیه انسان را با استفاده از فناوری برای درک و ایجاد پاسخ‌های طبیعی، متناسب با زمینه، و جذاب تکرار کند. با ورودی های کاربر سازگار می شود و تعامل را سیال و پویا می کند، مانند مکالمه بین انسان ها.

دانش خارجی و دانش داخلی سیستم های هوش مصنوعی چیست؟

در پاراگراف آغازین، دو اصطلاح کلیدی را ذکر کردم – دانش بیرونی و دانش داخلی. بیایید یک لحظه برای روشن شدن این مفاهیم وقت بگذاریم، زیرا درک آنها یادگیری در مورد RAGate را بسیار آسان تر می کند.

دانش بیرونی شامل اطلاعاتی است که ذاتی مدل هوش مصنوعی نیست، بلکه از منابع بیرونی بازیابی شده است. این منابع شامل پایگاه‌های داده‌ای مانند مخازن داده‌های ساخت‌یافته، APIها، پایگاه‌های دانش بدون ساختار مانند راهنماها، پرسش‌های متداول و منابع وب هستند. نقش اصلی دانش خارجی ارائه اطلاعات واقعی، به روز و مرتبط با زمینه است که دقت و جامعیت پاسخ های هوش مصنوعی را افزایش می دهد.

دانش درونی به دانش داخلی و قابلیت‌های پردازشی تعبیه‌شده در مدل هوش مصنوعی بر اساس آن اشاره دارد. داده های آموزشی. منابع شامل دانش از پیش آموزش دیده از انواع مختلف است مجموعه داده هااز جمله الگوهای زبان، دستور زبان، حقایق مشترک و دانش عمومی جهان، آگاهی زمینه‌ای از حافظه تعاملات گذشته، و توانایی‌های درک معنایی و درک هوش مصنوعی.

RAG و Guardrails – دوتایی قدرتمند، اما با محدودیت!

RAG دو عنصر قدرتمند را ترکیب می کند: (1) The پردازش زبان طبیعی توانایی مدل‌های زبان بزرگ (LLM) برای تفسیر و تولید متن انسان‌مانند. (2) توانایی بازیابی و تقویت اطلاعات خارجی و به روز.

بسیاری از پیاده سازی های RAG شامل می شوند نرده های محافظ، محدودیت ها یا قوانینی که رفتار سیستم را نسبت به هوش مصنوعی مسئول و محدود به دامنه هدایت می کند. این حفاظ ها اغلب استفاده از دانش خارجی را بر دانش داخلی مدل برای اطمینان از قابل پیش بینی بودن پاسخ ترجیح می دهند. استفاده دقیق از این نرده‌های محافظ گاهی اوقات می‌تواند منجر به نتایج نابهینه شود:

• اتکای بیش از حد به منابع خارجی: سیستم ممکن است مجبور شود حتی برای سؤالات عمومی که دانش داخلی LLM کافی باشد، به جستجوی اطلاعات خارجی بپردازد.
• پتانسیل برای پاسخ های سیال کمتر: با محدود کردن دانش داخلی، سیستم ممکن است در برخی موارد پاسخ‌های طبیعی یا مناسب کمتری تولید کند.
• افزایش تاخیر: بازیابی مداوم اطلاعات خارجی می تواند زمان پاسخگویی را در مقایسه با تکیه بر دانش داخلی کند کند.
• فرصت های از دست رفته: دانش گسترده تعبیه شده در پارامترهای LLM ممکن است مورد استفاده قرار نگیرد و به طور بالقوه بینش یا ارتباطات ارزشمندی را از دست بدهد.

قانون تعادل با RAGate

RAGate، کوتاه شده برای دروازه نسل افزوده بازیابی، سیستم های هوش مصنوعی محاوره ای را با تعیین تطبیقی ​​زمان گنجاندن دانش خارجی در پاسخ ها تقویت می کند.

مطالعه RAGate نیاز را بررسی می کند افزایش تطبیقی در سیستم های محاوره ای و RAGate را به صورت یک نشان می دهد مدل دروازه که پیش بینی می کند چه زمانی بازیابی دانش خارجی مفید است. این مقاله آزمایش‌ها و تحلیل‌های گسترده‌ای را ارائه می‌کند که اثربخشی RAGate را در بهبود کیفیت پاسخ و اطمینان تولید در سیستم‌های مکالمه مبتنی بر RAG نشان می‌دهد.

مثال RAGate

سناریو: یک کاربر در حال تعامل با یک ربات گفتگوی متمرکز بر مراقبت های بهداشتی است که توصیه های بهداشتی شخصی بر اساس اصول کلی سلامتی و دانش پزشکی ارائه می دهد.

RAGate می تواند مکالمه را با ایجاد تعادل بین دانش داخلی و خارجی افزایش دهد. این امکان را به هوش مصنوعی می دهد تا ضمن بازیابی تحقیقات به روز، از دانش پزشکی داخلی برای اطلاعات عمومی استفاده کند. حتی می‌تواند به‌طور هوشمند داده‌ها را از منابع متعدد برای تجزیه و تحلیل جامع ترکیب کند، بینش‌های شخصی‌سازی‌شده را بر اساس جزئیات بیمار ارائه دهد، و اطلاعات خارجی را برای اولویت‌بندی مرتبط‌ترین محتوا فیلتر می‌کند و اضافه بار را کاهش می‌دهد.

انواع RAGate

همانطور که در مقاله منتشر شده است، RAGate 3 نوع ارائه می دهد – RAGate-Prompt، RAGate-PEFT (تنظیم دقیق پارامترها)، و RAGate-MHA (توجه چند سر).

هر گونه از RAGate – Prompt، PEFT و MHA – از روش‌های متمایز برای ادغام دانش خارجی به منظور هدف مشترک بهبود ارتباط و دقت پاسخ‌های تولید شده توسط هوش مصنوعی استفاده می‌کند.

این یک جدول مقایسه سریع است:

چگونه RAGate را پیاده سازی کنیم؟

این مقاله یک راهنمای گام به گام برای پیاده سازی RAGate را نشان می دهد:

1. مشکل را تعریف کنید: این مرحله بسیار مهم است زیرا در مورد شناسایی تکلیف مکالمه ای است که می خواهید با RAGate بهبود دهید. محدوده مکالمه و حوزه های خاصی را که می خواهید پوشش دهید (به عنوان مثال، توصیه های رستوران، برنامه ریزی سفر) تعیین کنید.
2. یک مدل زبان انتخاب کنید: یک مدل زبان بزرگ (LLM) مناسب را به عنوان ستون فقرات سیستم مکالمه خود انتخاب کنید. گزینه‌ها شامل مدل‌هایی مانند Llama، GPT-2 یا دیگر معماری‌های مبتنی بر ترانسفورماتور هستند.
3. داده ها را جمع آوری و حاشیه نویسی کنید: مجموعه داده مرتبط با دامنه مکالمه خود را جمع آوری کنید. مجموعه داده KETOD، که شامل دیالوگ های حاشیه نویسی و تکه های دانش است، یک مثال عالی است. اطمینان حاصل کنید که مجموعه داده شما دارای برچسب های واضح است که نشان می دهد چه زمانی افزایش دانش ضروری است.
4. سیستم بازیابی دانش را توسعه دهید: یک مکانیسم بازیابی دانش را برای واکشی اطلاعات خارجی مرتبط در صورت نیاز اجرا کنید. می‌تواند تکنیک‌های رایجی مانند بازیابی گذرگاه متراکم یا پایگاه‌های دانش ساختار یافته با نمودار را در نظر بگیرد.
5. مکانیزم RAGate را پیاده سازی کنید: تابع دروازه دانش باینری (RAGate) را ایجاد کنید تا تعیین کنید چه زمانی باید پاسخ ها را با دانش خارجی افزایش دهید. شامل می شود تحلیل متنی و عملکرد دروازه
6. انواع RAGate را کاوش کنید: انواع مختلف RAGate را بر اساس رویکردهای مورد بحث در مقاله توسعه دهید:

• RAGate-Prompt: از دستورات زبان طبیعی با یک مدل زبان از پیش آموزش دیده برای تعیین نیاز به تقویت استفاده کنید.
• RAGate-PEFT: از تکنیک های تنظیم دقیق پارامترهای کارآمد (مثلا QLoRA) برای آموزش مدل زبان خود برای تصمیم گیری بهتر استفاده کنید.
• RAGate-MHA: از مکانیزم توجه چند سر برای ارزیابی زمینه و بازیابی دانش به صورت تعاملی استفاده کنید.

7. مدل را آموزش دهید: LLM خود را با استفاده از مجموعه داده مشروح، با استفاده از انواع مختلف RAGate تنظیم دقیق کنید. آموزش مکانیسم دروازه را برای افزایش توانایی مدل برای پیش بینی نیاز به تقویت دانش به طور موثر در نظر بگیرید.

8. عملکرد را ارزیابی کنید: انجام آزمایش های گسترده برای تایید اثربخشی RAGate. تجزیه و تحلیل معیارهایی مانند:

• دقت، یادآوری، امتیاز F1: برای ارزیابی عملکرد طبقه بندی تابع دروازه.
• BLEU، ROUGE، BERTScore: برای ارزیابی کیفیت پاسخ های تولید شده در مقایسه با حقیقت زمینی استفاده می شود.
• نمرات اعتماد به نفس: اطمینان خروجی های تولید شده را اندازه گیری کنید تا از پاسخ های با کیفیت بالا اطمینان حاصل کنید.

9. سیستم را مستقر کنید: سیستم مکالمه دارای RAGate را در برنامه یا سرویس خود ادغام کنید. اطمینان حاصل کنید که سیستم می تواند پرس و جوهای بلادرنگ را مدیریت کند و به صورت پویا در مورد تقویت دانش تصمیم گیری کند.

10. تکرار و بهبود: به طور مداوم بازخورد کاربر و داده های تعامل جمع آوری کنید تا مدل را اصلاح کنید. مناطقی را که سیستم ممکن است با زمینه یا ارتباط مشکل داشته باشد تجزیه و تحلیل کنید و مکانیسم های آموزشی یا بازیابی را بر اساس آن تنظیم کنید.

غذای آماده

در نتیجه، RAGate با ایجاد تعادل هوشمندانه دانش داخلی و خارجی برای ارائه پاسخ‌های مرتبط‌تر، کارآمدتر و شخصی‌شده‌تر، یک پیشرفت قابل توجه در هوش مصنوعی محاوره‌ای را نشان می‌دهد. برنامه های کاربردی RAGate گسترده است و در صنایعی مانند مراقبت های بهداشتی، پشتیبانی مشتری، آموزش، خدمات حقوقی، امور مالی و غیره را شامل می شود. RAGate با افزایش ظرفیت هوش مصنوعی برای ارائه اطلاعات متناسب و در زمان واقعی، پتانسیل ایجاد انقلابی در نحوه تعامل مشاغل و افراد با فناوری، بهبود تصمیم‌گیری، تجربه کاربر و عملکرد کلی سیستم را دارد.

منتشر شده از طریق به سمت هوش مصنوعی