انقلابی در هوش مصنوعی با جامبا: تغییر دهنده بازی مقرون به صرفه برای زمینه های طولانی

نویسنده(های): روهیت شارما

در ابتدا منتشر شد به سمت هوش مصنوعی.

اگر فکر می کنید همه LLM ها یکسان هستند – دوباره فکر کنید. هر بار که در یک چارچوب جدید غوطه ور می شوم، چیز جدیدی پیدا می کنم!

من اخیراً با Jamba و به عنوان یک معمار GenAI که آن را به طور گسترده آزمایش کرده‌ام، آزمایش کرده‌ام – از آنچه که می‌تواند به دست آورد و ما را وادار می‌کند راه‌حل‌های آینده‌مان را دوباره فکر کنیم، شگفت‌زده شده‌ام.

همه اینها در حالی که گردش کار را ساده می کند و هزینه ها را کاهش می دهد!

بیایید بررسی کنیم که چرا این مدل موج ایجاد می کند.

جامبا هنوز نام دیگری در چشم انداز شلوغ هوش مصنوعی نیست – این یک مدل پیشرفت است که علم نحوه رویکرد ما به وظایف طولانی مدت، کارایی هزینه و معماری های GenAI را دوباره تعریف می کند. از دریافت کل گزارش‌های سالانه در یک عکس گرفته تا پشتیبانی بومی از فراخوانی ابزار برای برنامه‌های عامل.

توانایی های اصلی

1. طول زمینه واقعی طولانی: فراتر از RAG بدون DB برداری

کاری که انجام می دهد: جامبا نیاز به DB برداری را در بسیاری از موارد به دلیل توانایی آن در مدیریت اسناد عظیم به طور مستقیم در پنجره زمینه 256K خود حذف می کند. این نیاز را برطرف می کند تکه تکه شدن، خطوط لوله جاسازی و بازیابی.
چرا اهمیت دارد: برخلاف بسیاری از مدل‌ها – طول متن ادعا شده/موقع‌شده جامبا با عملکرد واقعی آن همخوانی دارد. در طول آزمایش، من یک گزارش سالانه کامل را در زمینه بارگذاری کردم و جامبا آن را با دقت 85 درصد در وظایف استخراج بینش پردازش کرد. گنجاندن اسناد در زمان اجرا در گردش کار RAG بزرگترین مورد استفاده در اینجا خواهد بود. خلاصه سند طولانی و استخراج بینش. تجزیه و تحلیل رونوشت تماس ها یا تاریخچه چت طولانی. استدلال چند هاپ در سیستم های عاملی

2. خارج از جعبه مکالمه RAG

کاری که انجام می دهد: Jamba دارای پشتیبانی بومی برای RAG است که از تاریخچه چت مراقبت می کند. تکه تکه شدناستراتژی های نمایه سازی و بازیابی، آن را برای برنامه های هوش مصنوعی مکالمه ایده آل می کند.
چرا اهمیت دارد: معماران GenAI می توانند از این قابلیت ها بدون ساخت خطوط لوله RAG سفارشی استفاده کنند، مگر اینکه موارد استفاده یا پیچیدگی اسناد آن را ایجاب کند. این امر استقرار را تسریع می کند. من این را کمک بزرگی در ساخت ربات‌های هوشمند پشتیبانی مشتری می‌دانم که پایگاه دانش اسناد پویا و همیشه در حال تغییر دارند. مکالمات چند نوبتی آگاه از زمینه در ابزارهای چت سازمانی. همه اینها به هر حال ممکن بود – اما سرعت توسعه راه حل 10 برابر خواهد شد (برای موارد خاص همانطور که گفتم).

3. خطوط لوله RAG پیشرفته

کاری که انجام می دهد: حتی در جریان‌های کاری/لوله‌های سنتی RAG که شامل DB‌های برداری است – توانایی جامبا در مدیریت طول‌های زمینه عظیم، سنتز نهایی را به دلیل گنجاندن زمینه کامل بهبود می‌بخشد. این امر به ویژه برای راه‌حل‌هایی مفید خواهد بود که طول متن اسناد بازیابی شده توسط آن محدود می‌شد LLMs طول متن وعده داده شده و اجازه دهید با آن روبرو شویم – اغلب اوقات وقتی کسی شروع به مقایسه کیفیت ترکیب پاسخ نهایی می کند، “طول متن واقعی” با “طول متن وعده داده شده” مطابقت ندارد.
چرا اهمیت دارد: قابلیت‌های زمینه طولانی‌تر، مدیریت دسته‌های اسناد بزرگ‌تر و تاریخچه‌های چت چند نوبتی را امکان‌پذیر می‌سازد که کیفیت را افزایش می‌دهد. گردش‌های کاری قانونی/پزشکی/تطبیق با سیستم‌های مدیریت دانش بزرگ که به نرخ فراخوان بالا نیاز دارند، از این امر بسیار سود خواهند برد.

4. آمادگی برنامه عامل

کاری که انجام می دهد: جامبا از فراخوانی ابزار بومی در کنار توانایی‌های متن طولانی خود پشتیبانی می‌کند که آن را به یک مدل ایده‌آل برای برنامه‌های کاربردی و وظایف استدلال پیچیده (با هزینه کمتر و معماری سبک) تبدیل می‌کند.
چرا اهمیت دارد: توانایی فراخوانی بومی خارجی درها را برای گردش‌های کاری عاملی پویا و تعاملی باز نگه می‌دارد. من ارزش عظیمی از این را در عوامل استدلالی پیشرفته در گردش‌های کاری عملیاتی و تحلیل‌های مالی می‌بینم که به یکپارچه‌سازی API بلادرنگ نیاز دارند.

5. قالب بندی خروجی

کاری که انجام می دهد: جامبا از قالب‌بندی خروجی JSON بومی پشتیبانی می‌کند و ادغام با سیستم‌های پایین‌دست را ساده می‌کند.
چرا اهمیت دارد: خروجی های ساختاریافته خطاهای تجزیه را کاهش داده و اتوماسیون را بهبود می بخشد.

هزینه و کارایی

1. بهره وری

جامبا در زمینه های طولانی در مقایسه با مدل های مشابه مانند Mixtral با حفظ دقت، توان عملیاتی 3 برابری را ارائه می دهد.
معماری ترکیبی آن با ترکیب لایه‌های Mamba (SSM) و Transformer، استفاده از محاسبات را برای عملکرد بالا بهینه می‌کند.

2. هزینه های کمتر

نیاز به VDB ها در جریان های کاری ثابت را از بین می برد و هزینه های زیرساخت را کاهش می دهد.
متناسب با 140 هزار توکن در یک واحد پردازنده گرافیکی، به حداقل رساندن نیازهای سخت افزاری.

3. تاخیر و توان عملیاتی بهینه شده

زمان پاسخگویی سریع‌تر را حتی با زمینه‌های ورودی بزرگ به دست می‌آورد و موارد استفاده بلادرنگ را ممکن می‌سازد.

ساده سازی معماری ها

مدیریت متن طولانی منحصر به فرد جامبا، معماری های ساده تر و کارآمدتر را امکان پذیر می کند:

بدون پایگاه داده برداری: اسناد را مستقیماً در اعلان موارد استفاده ثابت مانند گزارش‌های سالانه یا قراردادهای قانونی وارد کنید. هزینه سربار معماری خطوط لوله جاسازی، تکه تکه شدن و بازیابی را کاهش دهید.
خطوط لوله RAG ساده شده: دسته های اسناد بزرگتر و مرتبط تر را با عملیات بازیابی کمتر مدیریت کنید.

مثال ها:

تجزیه و تحلیل حقوقی: فرآیند قراردادها بدون سیستم بازیابی، پاسخگویی مستقیم به سؤالات از سند.
پشتیبانی مشتری: دفترچه راهنمای محصول یا پرسش‌های متداول را مستقیماً در متن بارگیری کنید تا پاسخ‌های فوری و آگاه از زمینه را دریافت کنید.
ممیزی انطباق: اسناد یا مقررات خط مشی را در یک پاس تجزیه و تحلیل کنید و هزینه های پیش پردازش را کاهش دهید.

مقایسه جامبا با مدل های دیگر

در اینجا مقایسه سریع جامبا با محبوب است LLMs در بازار (منبع)

غذای نهایی

جامبا پتانسیل بازتعریف برخی از گردش‌های کاری خاص GenAI را با فعال کردن مدیریت با زمینه طولانی واقعی، شامل معماری‌های سبک وزن و کاهش هزینه‌ها دارد.

ترکیب منحصر به فرد آن از طول زمینه طولانی، فراخوانی ابزار بومی و استفاده کارآمد از محاسبات، آن را به گزینه ای عالی برای معماران GenAI تبدیل می کند.

چه در حال تجزیه و تحلیل اسناد عظیم، اجرای سیستم‌های عامل یا ساخت راه‌حل‌های هوش مصنوعی حساس به هزینه باشید – Jamba ارزش کاوش را دارد.

آماده شیرجه رفتن هستید؟ جمبا در Hugging Face پخش می شود (لینک های زیر)

لینک های کلیدی:

جامبا: https://www.ai21.com/jamba

کارت های مدل:

منتشر شده از طریق به سمت هوش مصنوعی

منبع: https://towardsai.net/p/l/revolutionizing-ai-with-jamba-the-cost-effective-game-changer-for-long-contexts