آخرین به روز شده در 28 اوت 2025 توسط تیم تحریریه
نویسنده (ها): ماهواره
در ابتدا منتشر شده در به سمت هوش مصنوعیبشر
سفر یک توسعه دهنده از برنامه نویسی اتاق خواب به استقرار AI در مقیاس شرکت
این را تصویر کنید: شما این chatbot شگفت انگیز AI را با استفاده از Ollama در لپ تاپ خود ساخته اید. برای شما و تیم کوچک شما مانند جذابیت کار می کند. سپس ناگهان ، رئیس شما می گوید “عالی! بیایید این هفته را به 10،000 کارمند هفته آینده برسانیم.” 😱
در این مقاله در مورد انتقال از استفاده از Ollama برای برنامه های AI محلی به استقرار VLLM برای عملکرد سطح شرکت بحث شده است. این چالش های پیش آمده در هنگام مقیاس بندی را برجسته می کند ، و تفاوتهای قابل توجهی در زمان پاسخ و قابلیت اطمینان سرور پس از مهاجرت از اولما به VLLM نشان می دهد. نویسنده اهمیت انتخاب حق را توضیح می دهد LLM چارچوب مبتنی بر تعامل کاربر و راندمان پاسخ ، و در مورد معیارهای عملکردی که برای مشاغل با توجه به مقیاس استقرار هوش مصنوعی خود بسیار مهم است ، بحث می کند.
وبلاگ کامل را به صورت رایگان در رسانه بخوانیدبشر
منتشر شده از طریق به سمت هوش مصنوعی