نویسنده (ها): سیف علی خره
در ابتدا منتشر شده در به سمت هوش مصنوعیبشر
سازگاری با درجه پایین-هر کسی که دارای فاصله میان رده باشد GPU و برخی از کنجکاوی ها اکنون می توانند مدل های قدرتمند را بدون سوختن از طریق بودجه یا منبع تغذیه تنظیم کنند.
در این مقاله ، Qlora را به زبان ساده تجزیه خواهیم کرد. بدون اضافه بار جارگون فنی ، فقط ایده های واضح ، نمونه های قابل اعتماد و کمی سرگرم کننده در طول مسیر.
بیایید با یک مقایسه سریع شروع کنیم:
آداپتورها: به جای بازیابی کل مدل ، آداپتورها بلوک های کوچک و قابل آموزش را درج می کنند. آنها را به عنوان یادداشت های چسبنده به کتاب اصلی اضافه کنید. Lora (سازگاری با رتبه پایین): نسخه ای باهوش تر که فقط چند قسمت اصلی مدل را تنظیم می کند-WQ و WV زیرا آنها به طور قابل توجهی بر محاسبه توجه تأثیر می گذارند. به عنوان فقط بازنویسی نکات کلیدی یا خلاصه در یک کتاب به جای کل داستان فکر کنید. qlora: این تکنیک های LORA را به مدلی اعمال می کند که قبلاً با استفاده از کمیت 4 بیتی فشرده شده است (ما از طریق آن عبور خواهیم کرد). این کارآمد ، ظریف و قدرتمند است.
Qlora مخفف سازگاری با رتبه پایین است. این روشی برای تنظیم دقیق است مدل های بزرگ زبان (LLMS) به روشی که:
حافظه دوستانه به سطح مصرف کننده gpusstill قدرتمند و دقیق
این دو ایده را ترکیب می کند: کمیت (فشرده سازی داده ها) و سازگاری با رتبه پایین (تنظیم فقط بخش کوچکی از مدل). نتیجه؟ جریمه ساده … وبلاگ کامل را به صورت رایگان در رسانه بخوانیدبشر
منتشر شده از طریق به سمت هوش مصنوعی
