نویسنده(های): بلال حنیف
در ابتدا منتشر شد به سمت هوش مصنوعی.
این داستان فقط برای اعضا در اختیار ماست. برای دسترسی به تمام Medium ارتقا دهید.
روش تبدیل داده های PDF خود را به یک فایل تبدیل کنید LLM قابل تنظیم مجموعه داده.
در این مقاله، شما یاد خواهید گرفت که داده های متنی PDF را به فرمت قابل تنظیم قابل پشتیبانی تبدیل کنید.
1. چالش 2. راه حل های پرهزینه موجود 3. راه حل نهایی 4. راه اندازی Augmentookit
تصور کنید که روی یک پروژه شخصی یا پروژه شرکت خود کار می کنید. مشکل این است که شما معمولاً با ایده آل سروکار ندارید مجموعه داده ها در هوش مصنوعی/ML، و یک PDF دارید که می خواهید از آن برای تنظیم دقیق استفاده کنید LLM اما صبر کنید، ما نمی‌توانیم LLM را روی PDF تنظیم کنیم. باید در قالب مناسبی باشد که LLM آن را بپذیرد. یکی فرمت آلپاکا است. تبدیل PDF خود به فرمت LLM با قابلیت تنظیم دقیق فرآیندی دردناک و طاقت فرسا است. خوشبختانه، اکنون ابزاری در دسترس است که می تواند به شما کمک کند PDF خود را به یک مجموعه داده قابل استفاده برای تنظیم دقیق LLM خود تبدیل کنید.
فرمت آلپاکا به شکل زیر است:
{‘دستورالعمل’: ‘شما یک ربات چت نادر فیلم هستید که به کاربر کمک می کند فیلم های خوب را پیدا کند.’, ‘ورودی’: ‘فیلمی را به من پیشنهاد دهید که بهترین تغییر تاریخ را داشته باشد.’, ‘خروجی’:’ The Prestige.’}
در حال حاضر، راه حل هایی که ما داریم بسیار پرهزینه هستند و مقدار زیادی اعتبار API و ساعات گرانبها را مصرف می کنند (اگر به صورت دستی برویم).
① استفاده از OpenAI API: شما… وبلاگ کامل را به صورت رایگان در Medium بخوانید.
منتشر شده از طریق به سمت هوش مصنوعی
منبع: https://towardsai.net/p/machine-learning/transform-pdfs-into-llm-fine-tuned-dataset-for-free