مقیاس گذاری اطلاعات: غلبه بر چالش های زیرساخت در عملیات بزرگ مدل زبان

نویسنده (ها): رجارشی تارفدار

در ابتدا منتشر شده در به سمت هوش مصنوعیبشر

این سناریو برای هوش مصنوعی (AI) بسیار روشن است و مدل های بزرگ زبان (LLMS)-فعال کردن ویژگی ها از Chatbots گرفته تا سیستم های تصمیم گیری پیشرفته.

با این حال ، سازگاری این مدل ها با موارد استفاده از سازمانی یک چالش بزرگ است که باید با زیرساخت های برش مورد توجه قرار گیرد.

این صنعت به سرعت تغییر می کند ، اما چندین چالش همچنان باز است تا در نهایت LLMS در مقیاس بزرگ عملیاتی شود. در این مقاله به بحث در مورد این چالش های زیرساخت ها و مشاوره برای شرکت ها در مورد راه غلبه بر آنها برای گرفتن مزایای غنی از LLM ها ارائه می شود.

رشد بازار و سرمایه گذاری در زیرساخت های LLM

بازار جهانی هوش مصنوعی مانند گذشته در حال شلیک است. آنقدر که تخمین زده می شود که در سالی که ماه به 2025 می رسد ، هزینه برای هوش مصنوعی مولد 644 میلیارد دلار خواهد بود که از این تعداد 80 ٪ مصرف می شود روی سخت افزاری مانند سرورها و دستگاههای AI-adowed.

اتوماسیون ، کارآیی و بینش از دیگر عوامل مهم ناشی از افزایش مشاغل ادغام LLM در گردش کار خود برای قادر به استفاده از برنامه های کاربردی AI بیشتر بودند.

علاوه بر این ، طبق پیش بینی ها ، بازار خدمات ابری عمومی در سال 2024 از 805 میلیارد دلار عبور خواهد کرد و در سال 2024 با نرخ رشد سالانه 19.4 ٪ (CAGR) رشد می کند.

زیرساخت های ابری یک عامل اصلی برای چنین LLM ها است زیرا به شرکت ها کمک می کند تا قدرت محاسباتی مورد نیاز برای اجرای مدل های بزرگ را بدون صرف هزینه های زیاد روی تجهیزات داخلی یا فیزیکی بدست آورند. چنین رویکردهای مبتنی بر ابر همچنین باعث تحولات در اکوسیستم های تخصصی زیرساخت ها شده است که تا سال 2035 از 350 میلیارد دلار فراتر خواهد رفت.

چالش های اصلی زیرساخت در مقیاس بندی LLM ها

با وجود فرصت عظیم بازار ، چندین چالش اساسی وجود دارد که سازمان ها هنگام مقیاس زیرساخت های LLM برای استفاده از شرکت با آن روبرو هستند.

1. تقاضای محاسباتی

الزامات محاسباتی در میان شدیدترین چالش هایی که هنگام مقیاس LLM ها با آن روبرو هستند ، رتبه بندی می شود. به عنوان مثال ، LLM های مدرن مانند GPT-4 حدود 1.75 تریلیون پارامتر و به همین ترتیب الزامات محاسباتی گسترده برای کارهای آموزش و استنباط دارند.

برای تأمین این شرایط ، شرکت ها به سخت افزار تخصصی مانند GPU (واحدهای پردازش گرافیکی) یا TPU (واحدهای پردازش تانسور) نیاز دارند. اما تهیه و حفظ چنین پردازنده های با کارایی بالا می تواند به سطح گزاف برسد.

اقتصاد آموزش این LLM ها به نگرانی می افزاید. شاید 10 میلیون دلار یا بیشتر هزینه قدرت و سخت افزار برای تهیه یک مدل پیشرفته باشد. علاوه بر این ، از آنجا که LLMS در حین آموزش و حتی هنگام استقرار ، مقدار زیادی انرژی مصرف می کند ، این یک بار دیگر زیست محیطی و مالی است.

نکته مهم دیگر در اینجا محدودیت های تأخیر است. شرکت های جهانی برای ارائه پاسخ های کم تأخیر به کاربران نهایی در بسیاری از مناطق به LLM های خود نیاز دارند. این اغلب می تواند به استفاده از نمونه های مدل در بسیاری از مناطق نیاز داشته باشد ، و لایه دیگری از عارضه را برای تنظیم زیرساخت ها اضافه می کند. یک عمل متعادل برای مدیریت تأخیر و اطمینان از سازگاری در مناطق مختلف است.

2. تنگناهای مقیاس پذیری

مقیاس بندی عملیات LLM چالش دیگری را به همراه دارد که هزینه استنتاج با افزایش ترافیک کاربر به طور غیر خطی افزایش می یابد. استفاده از LLMS برای خدمت به هزاران یا میلیون ها کاربر می تواند منابع را تخلیه کند و خواستار آن باشد که راه حل مقیاس گذاری از این رو به کار گرفته شود تا بتواند بر اساس تقاضای کاربر ، منابع پویا را مقیاس کند.

به عبارت دیگر ، مقیاس بندی منابع می تواند زیرساخت های سنتی سنگین را تحت تأثیر قرار دهد تا بتواند تقاضای فزاینده ای از برنامه های LLM درجه یک شرکت را برآورده کند ، که منجر به تاخیر قابل اجتناب و افزایش هزینه های عملیاتی خواهد شد.

چالش دیگر در مقیاس بندی عملیات LLM افزایش هزینه های استنباط در مقیاس تقریبا غیرخطی در طول منحنی با افزایش ترافیک کاربر است. برخی از کارهای بسیار سنگین در استفاده از LLM ها وجود دارد: خدمت به هزاران یا حتی میلیون ها کاربر به معنای نیاز به راه حل های مقیاس گذاری پویا است که به طور خودکار منابع را بر اساس تقاضا تنظیم می کنند.

به طور خلاصه ، این عملیات مقیاس پذیر ممکن است زیرساخت های سنتی و سنگین وزن را که قرار است تقاضای مداوم زیادی از برنامه های LLM در سطح شرکت را برآورده کند ، تأثیر منفی بگذارد و در نتیجه تأخیرهای نامطلوب و افزایش هزینه های عملیاتی داشته باشد.

3. محدودیت های سخت افزار

محدودیت های سخت افزاری مقیاس گذاری LLMS قابل توجه است. در سال 2024 ، در سراسر جهان کمبود GPU قیمت ها را 40 ٪ افزایش داد، قرار دادن برنامه های نگهدارنده بر اساس LLMS در سراسر صنایع.

به دلیل دسترسی محدود به GPU ها ، سازمان ها اغلب باید متفاوت باشند و منتظر انبار باشند زیرا این امر می تواند جدول زمانی زیادی را مختل کند.

علاوه بر این ، LLM های به طور فزاینده پیچیده به حافظه بیشتری نیاز دارند ، از این رو استرس اضافی بر منابع سخت افزاری. یکی از تکنیک های رفع این مشکل ، کمیت است که ضمن محاسبه با مدل ، دقت را کاهش می دهد.

این منجر به مصرف بین 30 تا 50 درصد از حافظه کمتر بدون تأثیر در صحت مدل ، از این رو بهبود استفاده از منابع سخت افزاری ساخته شده توسط سازمانها را بهبود می بخشد.

استراتژی های سازمانی برای مقیاس بندی عملیات LLM

برای پرداختن به چالش های مقیاس گذاری زیرساخت های LLM ، شرکت ها چندین استراتژی نوآورانه ایجاد کرده اند که اصلاحات کوتاه مدت و سرمایه گذاری های بلند مدت در فناوری را ترکیب می کند.

1. محاسبات توزیع شده

مقیاس بندی LLMS توسط محاسبات توزیع شده یکی از این وسایل است. سازمانهایی که از خوشه های Kubernetes با راه حل های مقیاس اتومبیل ابری استفاده می کنند ، می توانند LLM ها را به طور کارآمد در سرورها و مناطق مختلف مستقر و مقیاس کنند.

مکانهای مختلف جغرافیایی کمک می کند تاخیر را 35 ٪ کاهش دهید برای کاربران جهانی ، نگه داشتن برنامه های LLM با بار سنگین پاسخگو است.

2. بهینه سازی مدل

یکی دیگر از استراتژی های اساسی که باید در نظر بگیرید بهینه سازی مدل است. با از بین بردن پارامترهایی که مفید نیستند ، سازمان ها می توانند با استفاده از تکنیک هایی مانند تقطیر دانش و بدون هیچ گونه تأثیر در عملکرد ، پیچیدگی مدل های خود را بهینه کنند.

این بهینه سازی ها می توانند فراهم کنند 25 درصد کاهش در هزینه های استنباط، بنابراین امکان سنجی مقیاس گذاری برای استقرار LLMS در برنامه های سازمانی را بهبود می بخشد.

3. معماری های ترکیبی

بسیاری از سازمان ها به سمت معماری های ترکیبی روی می آورند ، که ترکیبی از CPU و GPU تنظیمات برای بهینه سازی عملکرد و هزینه.

با استفاده از GPU برای مدل های بزرگتر و CPU برای مدل های کوچکتر یا کارهای کمکی ، شرکت ها می توانند هزینه های سخت افزاری را 50 ٪ کاهش دهند ضمن حفظ عملکرد مورد نیاز برای پاسخگویی به خواسته های عملیاتی.

داده ها و سفارشی سازی در مقیاس LLMS

کیفیت داده ها و سفارشی سازی مدل پیش نیازهای لازم برای به دست آوردن بهترین عملکرد در هنگام مقیاس LLM ها است. در اینجا ، LLM را به برنامه های خاص دامنه های گره خورده از تنظیم برای بهترین دقت بپوشانید.

حداکثر 60 ٪ در دقت کار می تواند از طریق تنظیم دقیق قابل استفاده در یک دامنه خاص در صنایع معمولی مانند امور مالی ، بهبود یابد ، و این امر باید به طور دقیق و مؤثر کلاهبرداری را مشخص کند.

علاوه بر این ، نسل بازیابی (RAG) یک رویکرد قوی برای تقویت ظرفیت LLMS در برنامه های سازمانی است. RAG توهم را در سیستمهایی مانند سیستم های پاسخ به سؤال در سطح شرکت (QA) 45 ٪ کاهش می دهد.

به این ترتیب ، قدرت LLM های کلاسیک و مکانیسم های بازیابی خارجی را به منظور تقویت عملکرد ترکیب می کند. علاوه بر بهبود صحت مدل ها ، سازمان ها همچنین می توانند یک سیستم هوش مصنوعی قابل اطمینان تر را ایجاد کنند.

یکی از چالش های مهم پروژه های هوش مصنوعی ، کیفیت ضعیف داده ها بوده است. تأثیر گذاشته است حداقل 70 ٪ از پروژه های هوش مصنوعی، آنها را به دلیل نیاز بسیار واقعی به زبان با کیفیت بالا و به تأخیر می اندازد مجموعه داده هابشر

برای مقیاس گذاری مؤثر در زیرساخت های LLM یک سازمان ، سرمایه گذاری در استحکام با کیفیت بالا ضروری است خط لوله داده و عملیات پاکسازی

روند زیرساخت های آینده در مقیاس بندی LLM ها

با نگاهی به آینده ، انتظار می رود چندین روند زیرساخت نقش مهمی در مقیاس گذاری LLM ها داشته باشند.

1. مراکز ارکستراسیون برای شبکه های چند مدل

از آنجا که استفاده از LLMS گسترده تر می شود ، شرکت ها برای مدیریت شبکه های چند مدل به طور فزاینده ای به مراکز ارکستراسیون اعتماد می کنند. این مراکز به سازمانها اجازه می دهد هزاران LLM تخصصی را مستقر ، نظارت و بهینه سازی کنند ، و امکان تخصیص منابع کارآمد و بهبود عملکرد در مقیاس را فراهم می کنند.

2. پایگاه داده های بردار و استانداردهای قابلیت همکاری

ظهور بانکهای اطلاعاتی وکتور و استانداردهای قابلیت همکاری ، یک تغییر دهنده بازی برای مقیاس گذاری LLMS خواهد بود. این پایگاه داده ها به LLM ها اجازه می دهند تا با ذخیره و بازیابی داده ها به روشی که برای آن بهینه شده باشد ، کارآمدتر را انجام دهند یادگیری ماشین برنامه ها

با افزایش بازار این فناوری ها ، از آنها انتظار می رود تا سال 2030 20 میلیارد دلار+ بازار تسلط داشته باشیدبشر

3 تراشه های کارآمد با انرژی

یکی از جالب ترین تحولات در مقیاس بندی LLMS ، ظهور تراشه های با انرژی ، مانند پردازنده های عصبی است.

این تراشه ها قول می دهند مصرف برق LLMS تا 80 ٪ کاهش یابد ، و این باعث می شود استقرار LLMS در مقیاس بدون تحمل هزینه های ممنوع انرژی ، پایدارتر شود.

برنامه های کاربردی و تجارت در دنیای واقعی

در زمان های اخیر ، چندین سازمان که با موفقیت عملیات LLM را کاهش داده اند ، به مزایای به دست آمده گواهی می دهند.

یک موسسه مالی توانست 40 ٪ هزینه های تجزیه و تحلیل کلاهبرداری را با استفاده از موازی سازی مدل در 32 GPU کاهش دهد ، در حالی که در مورد ارائه دهنده مراقبت های بهداشتی ، LLMS با افزایش RAG 55 ٪ کاهش در نرخ خطای تشخیصی را به دست آوردبشر

با این حال ، شرکت ها اکنون با معاملات بین اصلاحات سریع و سرمایه گذاری بلند مدت روبرو هستند.

پارادایم هایی مانند کمیت و حافظه پنهان در مورد بهینه سازی حافظه و هزینه تسکین سریع را فراهم می کنند ، در حالی که مقیاس طولانی مدت نیاز به سرمایه گذاری در معماری مدولار ، تراشه های با انرژی و زیرساخت های AI نسل بعدی دارد.

پایان

Scaling LLMS یک فعالیت مهم و پر تلاش است که برای باز کردن برنامه های هوش مصنوعی در شرکت ها ضروری است.

اگر سازمانها بتوانند با پرداختن به چالش های کلیدی زیرساخت ، یعنی الزامات محاسباتی ، تنگناهای مقیاس پذیری و محدودیت های سخت افزاری ، عملیات LLM را بهبود بخشند و باعث شوند.

با رویکردهای مناسب ، اعم از محاسبات توزیع شده ، تنظیم دقیق دامنه ، شرکت ها می توانند قابلیت های هوش مصنوعی خود را برای برآورده کردن تقاضای نوظهور برای برنامه های هوشمند مقیاس بندی کنند.

از آنجا که اکوسیستم LLM در حال تحول است ، سرمایه گذاری پایدار در زیرساخت ها برای تقویت رشد و اطمینان از اینکه AI یک ابزار تغییر بازی در صنایع مختلف است ، بسیار مهم خواهد بود.

منتشر شده از طریق به سمت هوش مصنوعی