Building Multimodal RAG برنامه شماره 8: قرار دادن همه چیز در کنار هم! ساخت اپلیکیشن RAG چندوجهی

نویسنده(های): یوسف حسنی

در ابتدا منتشر شد به سمت هوش مصنوعی.

این داستان فقط برای اعضا در اختیار ماست. برای دسترسی به تمام Medium ارتقا دهید.

تولید افزوده بازیابی چندوجهی (RAG) در حال تغییر نحوه مدیریت برنامه‌های هوش مصنوعی با اطلاعات پیچیده با ادغام قابلیت‌های بازیابی و تولید در انواع مختلف داده‌ها، مانند متن، تصاویر و ویدئو است.

بر خلاف RAG سنتی، که معمولاً بر بازیابی و تولید مبتنی بر متن تمرکز می‌کند، سیستم‌های RAG چندوجهی می‌توانند محتوای مرتبط را هم از منابع متنی و هم از منابع بصری برای تولید پاسخ‌های غنی‌تر و جامع‌تر به‌دست آورند.

این مقاله، هشتمین و آخرین بخش از سری برنامه‌های کاربردی RAG چندوجهی ساختمان، تمام ماژول‌هایی را که در مقالات قبلی ساخته‌ایم جمع‌بندی می‌کند و آنها را در یک مکان قرار می‌دهد.

ما راه‌اندازی محیط، آماده‌سازی داده‌ها در ماژول پیش‌پردازش، بازیابی فریم‌های ویدئوی مربوطه در ماژول بازیابی چندوجهی، استفاده از LVLM در انواع موارد استفاده در ماژول‌های استنتاج LVLM و پردازش سریع و در نهایت قرار دادن همه این موارد را پوشش خواهیم داد. ماژول ها با هم و ساخت یک سیستم RAG چند وجهی با LangChain.

منبع: https://towardsai.net/p/data-science/building-multimodal-rag-application-8-putting-it-all-together-building-multimodal-rag-application