نویسنده (ها): R. Thompson (دکترا)
در ابتدا منتشر شده در به سمت هوش مصنوعیبشر
“شما به یک ابر رایانه برای مهار سرپرستی نیاز ندارید. شما فقط به استراتژی درست نیاز دارید.”
به همان اندازه که مدل های زبانی مانند Deepseek R1 قدرتمند هستند ، یک سوال بسیاری از توسعه دهندگان را در شب نگه می دارد: آیا می توانم این کار را به صورت محلی بدون یک اجرا کنم GPU مزرعه؟ جواب مثبت است. با دستیابی به موفقیت های اخیر در کمیت مدل ، قالب های GGUF و باکتری های کارآمد مانند Llama.cpp ، استقرار Deepseek R1 در لپ تاپ با کمترین قوچ 8-12 گیگابایتی اکنون قابل دستیابی است.
در این مقاله روشهای عمیق و اثبات شده برای تنظیم Deepseek R1 در سیستم های محدود حافظه ارائه شده است. ما از طریق تنظیم عملکرد ، استراتژی های استقرار سبک وزن ، قالب های کمیت ، نقش شتاب CPU و مزایای استراتژیک گسترده تر پردازش AI محلی خواهیم رفت. برای توسعه دهندگان ، محققان و سرگرمی های هوش مصنوعی بدون دسترسی به سخت افزار درجه سرور ، این راهنما دروازه ای را برای پیشرفته AI بدون وابستگی به ابر ارائه می دهد.
Deepseek R1 فقط منبع باز دیگر نیست LLMبشر این یک مدل بهینه سازی استدلال است ، که به طور خاص برای منطق قوی چند هاپ و حل مسئله آموزش دیده است:
-آموزش با تراز مولکول تحت نظارت و پاداش برای رفتارهای استدلال تصفیه شده -با کمبودی در GSM8K ، ریاضی ، BBH و Humaneval با نتایج رقیب بسیاری از همسالان منبع بسته -تحت مجوز Apache 2.0 منتشر شده ، امکان پذیرش دانشگاهی و تجاری -لنگ ، با چندگانه با استفاده از چندین سبک سبک ، Lilama Stacks stacks ollama. Koboldcpp ، و موارد دیگر
مدل ارائه می دهد … وبلاگ کامل را به صورت رایگان در رسانه بخوانیدبشر
منتشر شده از طریق به سمت هوش مصنوعی
