تنظیم دقیق یک LLM از پیش آموزش دیده برای طبقه بندی احساسات


نویسنده(های): دیمیتریس افروسینیدیس

در ابتدا منتشر شد به سمت هوش مصنوعی.

بهینه سازی نتایج با حداقل تلاش

این داستان فقط برای اعضا در اختیار ماست. برای دسترسی به تمام Medium ارتقا دهید.

تصویر توسط نویسنده

در آموزش قبلی، Traditional vs. هوش مصنوعی مولد برای طبقه‌بندی احساسات، ما احساسات بررسی‌های محصول را از بررسی مشتریان Flipkart پیش‌بینی کردیم. مجموعه داده.

ما چندین روش را با هم مقایسه کردیم:

رگرسیون لجستیک با TF-IDF: یک خط پایه ساده و در عین حال موثر با استفاده از ویژگی‌های مبتنی بر فرکانس برای طبقه‌بندی. رگرسیون لجستیک با تعبیه‌های از پیش آموزش‌دیده: از مدل‌های تعبیه‌سازی پیشرفته مانند all-MiniLM-L6-v2 برای تولید نمایش‌های معنایی برای آموزش یک طبقه‌بندی‌کننده استفاده کنید. طبقه‌بندی شات صفر: انجام طبقه‌بندی بدون داده‌های برچسب‌گذاری شده با استفاده از شباهت کسینوس بین جاسازی‌های سند و برچسب. مولد مدل‌ها: مدل‌های زبان مولد مانند Flan-T5 را کاوش کنید، که متن را با تولید پاسخ‌ها بر اساس یک اعلان طبقه‌بندی می‌کند.

در اینجا نتایج آن آزمایش آمده است:

تصویر توسط نویسنده

در این آموزش، مدل احساس ویژه وظیفه (juliensimon/reviews-sentiment-analysis) را به خوبی تنظیم می کنیم و می بینیم که آیا دقت 0.79 آن بهبود می یابد یا خیر.

برای دریافت کد کامل، از نمونه کارها GitHub من دیدن کنید.

اگر این کد را در گوگل کولب (یا هر پلتفرم ابری دیگری)، لطفاً مطمئن شوید که تمام وابستگی‌های لازم نصب شده‌اند.

بلوک کد زیر را برای نصب بسته های مورد نیاز اجرا کنید:

%%capture!pip نصب کنید مجموعه داده ها ترانسفورماتور جمله-ترانسفورماتور ارزیابی می کند

ما از همان مجموعه داده و همان پیش پردازش مشابه آموزش قبلی استفاده خواهیم کرد.

واردات پانداها به عنوان pdimport numpy به عنوان… وبلاگ کامل را به صورت رایگان در Medium بخوانید.

منتشر شده از طریق به سمت هوش مصنوعی



منبع: https://towardsai.net/p/data-science/fine-tuning-a-pre-trained-llm-for-sentiment-classification