نحوه پیاده سازی AI LLM در لبه


با توجه به اینکه هوش مصنوعی به قدرت زیادی نیاز دارد و استفاده از آن به شدت در حال رشد است، مشخص شده است که برخی از عملکردهای هوش مصنوعی باید از مرکز داده منتقل شوند تا به جای آن در لبه شبکه انجام شوند.

درو رابکه برای TechRepublic Premium می نویسد، توضیح می دهد که چرا بسیاری از بارهای کاری باید به سمت خارج حرکت کنند، هوش مصنوعی در لبه چیست، مزایا، چالش ها، و چگونه می توان آن را به انجام رساند.

    متن ویژه از دانلود:

    چرا EDGE AI؟

    دلایل زیادی وجود دارد که چرا هوش مصنوعی باید به سطحی از تمرکززدایی دست یابد:

    قدرت: هوش مصنوعی انرژی بیشتری مصرف می کند که بتوان به راحتی به مراکز داده بزرگ و متمرکز متصل شود. یا در شبکه محلی برق کافی برای برآورده کردن نیازهای یک مرکز داده هوش مصنوعی وجود ندارد، یا آن مرکز داده زیرساخت انرژی زیربنایی برای پشتیبانی از برنامه های کاربردی تمام عیار هوش مصنوعی را ندارد.

    خنک‌سازی: حتی اگر بتوان انرژی را برای برآوردن برنامه‌های هوش مصنوعی وارد کرد، بسیاری از مراکز داده موجود نمی‌توانند سرورها و پردازنده‌ها را خنک کنند. خاموشی به دلیل گرمای بیش از حد اجتناب ناپذیر خواهد بود. خنک کننده مایع به عنوان راه حل پیشنهاد شده است، اما بسیاری از مراکز داده یا فضایی برای مقاوم سازی آن ندارند، یا نیروی انسانی ماهر برای پشتیبانی از آن ندارند یا نمی توانند آن را توجیه اقتصادی داشته باشند.

    تأخیر: اگر همه داده‌ها را به یک نقطه مرکزی ارسال کنید و تمام تحلیل‌ها را در آن انجام دهید، تأخیر رفت و برگشت را معرفی می‌کنید. اگر مرکز داده صدها یا هزاران مایل دورتر باشد، زمانی که داده ها جابه جا می شوند و اعداد خرد می شوند، زمان ارزشمندی تلف می شود. این یک عامل به ویژه در برنامه های زمان واقعی است. تصور کنید وسایل نقلیه خودران برای هر تصمیمی یک ثانیه تاخیر دارند. اگر وسیله نقلیه با سرعتی بیش از 20 مایل در ساعت (32.19 کیلومتر در ساعت) حرکت کند، تصادفات و تصادفات امری عادی خواهد بود.

دانش فنی خود را با PDF 10 صفحه‌ای ما تقویت کنید. این تنها با قیمت 9 دلار برای دانلود در دسترس است. از طرف دیگر، از دسترسی رایگان با a اشتراک سالانه حق بیمه.

صرفه جویی در زمان: ایجاد این محتوا به 20 ساعت نوشتن، ویرایش، تحقیق و طراحی اختصاصی نیاز دارد.



منبع: https://www.techrepublic.com/resource-library/downloads/how-to-implement-ai-llms-at-edge/