🔓 باز کردن قفل Quantization سفارشی برای مدل های صورت در آغوش گرفتن به صورت محلی با اوللاما 🧠:


نویسنده(های): آنوپ موریا

در ابتدا منتشر شد به سمت هوش مصنوعی.

این داستان فقط برای اعضا در اختیار ماست. برای دسترسی به تمام Medium ارتقا دهید.

عکس پاز آراندو در Unsplash

اگر با Hugging Face آشنا هستید، می‌دانید که این یک مرکز بزرگ برای متن باز است یادگیری ماشینی مدل ها اما اگر بخواهید این مدل ها را به صورت محلی با حداقل تنظیمات اجرا کنید چه؟ Ollama این کار را بسیار آسان می کند، به خصوص برای مدل های GGUF، یک قالب سبک وزن که برای اجرای موثر مدل های مقیاس بزرگ بهینه شده است.

این مقاله نحوه استفاده از Ollama را برای اجرای هر مدل Hugging Face GGUF بر روی دستگاه خود توضیح می‌دهد و فرآیند را تنها با چند دستور ساده می‌کند.

Ollama ابزاری است که برای اجرای مدل‌های زبان بزرگ محلی (LLM) طراحی شده است. این یک رابط کاربری آسان برای اجرای مدل ها به طور مستقیم از Hugging Face ارائه می دهد. این ابزار از مدل‌های GGUF پشتیبانی می‌کند – یک فرمت تخصصی که برای اجرای مدل‌های هوش مصنوعی بر روی پیکربندی‌های سخت‌افزاری کوچک‌تر مانند CPU و GPU بدون نیاز به منابع محاسباتی سنگین که اغلب برای LLM‌ها مورد نیاز است، بهینه شده است.

در آغوش گرفتن صورت پلتفرمی مناسب برای آن است یادگیری ماشینی مدل ها، با هزاران مدل در وظایف مختلف، اعم از پردازش زبان طبیعی (NLP) به بینایی کامپیوتری. توسعه دهندگان در سراسر جهان مدل های خود را روی Hugging Face میزبانی می کنند و آن را به منبعی ارزشمند برای هر کسی که به دنبال ساخت برنامه های هوش مصنوعی است تبدیل می کند.

50 بار کف بزنید – هر کدام بیش از… وبلاگ کامل را به صورت رایگان در Medium بخوانید.

منتشر شده از طریق به سمت هوش مصنوعی



منبع: https://towardsai.net/p/machine-learning/unlock-custom-quantization-for-hugging-face-models-locally-with-ollama