نویسنده (ها): پتروس دیمتراکوپولوس
در ابتدا منتشر شده در به سمت هوش مصنوعیبشر
بیایید با آن روبرو شویم Gen ai و LLMS برای همیشه به روش توسعه نرم افزار و نوشتن کد تغییر کرده ایم. علاوه بر این ، تحولات اخیر در هوش مصنوعی نه تنها نحوه نوشتن کد را تغییر داده است ، آنها همچنین در جایی که محاسبات اتفاق می افتد تغییر کرده اندبشر در واقع این 2 مین تغییر بزرگ است که من در خودم تجربه می کنم شغلی، با اولین بار تغییر زیرساخت های پیش فرض به ابر که از ابتدای سال 2010 آغاز شد. اکنون ما شاهد تغییر مشابهی هستیم ، از محاسبات مبتنی بر ابر به LLM/محاسبات Gen-ai-محور.
با این حال ، این تغییر و توانایی حل آسان مشکلات پیچیده و پیچیده ای که همراه با آن است ، به یک هزینه می رسد. با تسریع در اتخاذ AI در سازمان ها ، هزینه های LLM به یک عامل مهم در بودجه های مهندسی تبدیل می شود. در حالی که مدل هایی مانند GPT-4 و کلود فوق العاده قدرتمند هستند ، اما همچنین گران هستند ، به خصوص در صورت نیاز به مقیاس. مانند هر توسعه در بخش فناوری ، راه حل این نیست که از فن آوری های جدید (مانند LLMS) جلوگیری یا ترسید ، بلکه آنها را در آغوش بگیرید. با این حال ما باید از آنها به صورت استراتژیک استفاده کنیم و تا آنجا که می توانیم با هزینه ای مناسب از آنها استفاده کنیم.
چارچوب آبشار AI
“آبشار AI” یک استراتژی حل مسئله سلسله مراتبی است که در آن ما سعی در حل وظایف با استفاده از ارزان ترینبا سریعترین روش اولی، فقط در صورت عدم موفقیت رویکردهای ساده تر ، به مدل های AI گران تر افزایش می یابدبشر به این ترتیب ما می توانیم از آن استفاده کنیم ردیف های جداگانه و فقط قیمت پیچیدگی محاسباتی را که در واقع به آن نیاز داریم پرداخت کنید برای حل مشکل به عنوان یک سری دروازه ها فکر کنید: هر کار از طریق راه حل های پیشرفته تر (و پر هزینه تر) جریان می یابد تا زمانی که یک مشکل را پیدا کند که مشکل را حل کند. اصل بینش و عملکرد اصلی این است که بسیاری از مشکلات که به نظر می رسد نیاز به AI پیشرفته و مدل های پرهزینه دارند ، در واقع با تکنیک های برنامه نویسی سنتی قابل حل هستند ، اساسی یادگیری ماشین، یا مدل های سبک وزن در کسری از هزینه و تأخیر.
انگیزه اقتصادی
قبل از غواصی به تکنیک ها ، بیایید انگیزه اقتصادی را ایجاد کنیم: در گلوله های زیر هزینه های LLM های پیشرفته تر در مقایسه با هزینه روش های ساده تر ارائه می شود.
- GPT-4: 0.03 $ در هر نشانه ورودی 1K ، 0.06 $ در هر نشانه خروجی 1K
- غزل کلود: 0.003 $ در هر نشانه ورودی 1K ، 0.015 دلار در هر نشانه خروجی 1K
- regex/سیستم های مبتنی بر قانون: به طور مؤثر 0 دلار (فقط زمان محاسبه جزئی)
- کلاسیک مولکول مدل: چند سکه در هر هزار پیش بینی
به راحتی می توان فهمید که هنگام پردازش هزاران یا میلیون ها درخواست ، این هزینه ها به طرز چشمگیری ترکیب می شوند.
ساخت یک آبشار هوش مصنوعی
بیایید نمونه های ساده ای از مشکلات را مشاهده کنیم که توسط LLM های پیچیده قابل حل است اما با روشهای ساده تر می توان بسیار مؤثر را حل کرد.
نمونه: طبقه بندی ایمیل
با فرض اینکه می خواهیم ایمیل ها را مطابق با وزارت شرکت که باید به آن هدایت شوند ، طبقه بندی کنیم. به جای ارسال تمام اجساد پست الکترونیکی به LLM گران قیمت ، رویکرد ساده تر مبتنی بر Regex که در زیر نشان داده شده است احتمالاً می تواند 60-80 ٪ از نامه های ورودی را تحمل کند و فقط به یک LLM گران قیمت که ممکن است مبهم تر باشد و در نتیجه طبقه بندی دشوارتر است.
حال فکر کنید که بین قوانین Regex و LLM می توانیم “ردیف های هوش” بیشتری مانند طبقه بندی کننده های یادگیری یک شات ، مدل های ساده تر ML ، مدل های تعبیه شده از قبل آموزش دیده و غیره را در بر بگیریم.
مثال دیگر می تواند رسیدگی به پرس و جو مشتری باشد که ممکن است از طریق چت پشتیبانی مشتری دریافت شده باشد. رویکردی که به دنبال فلسفه “آبشار هوش مصنوعی” به نظر می رسد:
رویکرد آبشار هوش مصنوعی نیز به انتخاب بین خود LLM ها گسترش یافته است. اگر وظیفه ای داریم که به استدلال نیاز دارد اما پیشرفته ترین نوع آن نیست ، ابتدا سعی می کنیم آن را از طریق ساده ترین (و ارزان ترین) LLM عبور دهیم ، قبل از ارسال آن به GPT-4 پیشرفته تر (و گرانتر) بگوییم.
به تدریج ساخت
یک عمل خوب برای اندازه گیری هزینه واقعی LLM (به صورت $) یا استفاده (به موقع ، موارد یا شرایط توکن) قبل از بهینه سازی آن با استفاده از استراتژی آبشار هوش مصنوعی است. سپس ، ما می توانیم با بالاترین حجم و گرانترین موارد استفاده ، راه حل های درجه یک (Regex ، قوانین سفارشی ، دسترسی به پایگاه داده ها و غیره) را اجرا کنیم و کاهش هزینه های LLM را اندازه گیری کنیم. با حرکت ، ما می توانیم ردیف های بیشتری از راه حل های فزاینده پیچیده و پرهزینه را افزایش داده و کاهش هزینه را پیگیری کنیم. به این ترتیب ما می توانیم به صورت تدریجی راه حل های قوی را توسعه دهیم.
مرحله آخر این است نظارت مداوم از سیستم در این روش می توانیم بینش هایی کسب کنیم که موارد به طور مکرر به مدل های گران قیمت افزایش می یابد و سعی می کنیم ارزانترین روش ها را تنظیم کنیم (شامل قوانین جدید ، تقویت بیشتر بانکهای اطلاعاتی و غیره)
مشکلات برای جلوگیری از
بعد از ماهها کار با این معماری ، در اینجا برخی از مشکلات وجود دارد که باید از آن جلوگیری کنید.
- از مهندسی بیش از حد اولیه خودداری کنید: این به طور عملی بدان معنی است که شما نباید هفته ها در ایجاد قوانین بسیار پیچیده Regex یا ایجاد پایگاه داده های بسیار بزرگ برای تقریباً در هر مورد صرف کنید.
- هرگز موارد لبه را نادیده نگیرید: موارد لبه همیشه وجود دارد و نیاز به رسیدگی دارد. در اکثر موارد ، آنها بهتر توسط یک LLM گران قیمت اداره می شوند ، بنابراین آن را حذف نکنید زیرا به نظر می رسد پرهزینه است.
- از استفاده از آستانه اعتماد به نفس استاتیک خودداری کنید: آستانه ها همیشه بر اساس نیازهای هر پروژه باید به صورت پویا تنظیم شوند.
- از بهینه سازی زودرس خودداری کنید: همیشه با استفاده از موارد با تأثیر بالا و با حجم بالا شروع کنید و سپس به موارد نادرتر بروید.
پایان
آبشار هوش مصنوعی یک فلسفه است که اطمینان حاصل می کند که از AI پیشرفته به روشی هوشمندانه و مقرون به صرفه استفاده می شود. این یک چارچوب است که به معماران راه حل کمک می کند و مهندسان نرم افزار فقط در صورت نیاز به خدمات پیشرفته AI پرداخت می کنند. این یک نکته در زمان است که ما باید به اصول برگردیم و به یاد بیاوریم که مهندسی مؤثر در مورد دسترسی به قدرتمندترین ابزارها نیست ، بلکه این مربوط به سیستم های ساختمانی است که می دانند چه موقع از آنها استفاده می کنند. زیرا در پایان روز ، بهترین راه حل هوش مصنوعی اغلب ساده ترین موردی است که کار می کند.
اگر این مقاله را دوست داشتید می خواهید با مقالات جدید و مطالب خود را به روز کنید وابسته به لینکدینبشر
منتشر شده از طریق به سمت هوش مصنوعی