نویسنده (ها): Zarantonello
در ابتدا منتشر شده در به سمت هوش مصنوعیبشر
PDF را به صورت محلی با استفاده از Langchain بارگیری و پرس و جو کنید
این داستان فقط عضو بر ما است. برای دسترسی به همه رسانه ها ارتقا دهید.
در این پست ، من به دنبال ساخت یک موتور جستجوی معنایی در Lnagchain هستم و توضیحاتی در مورد تعبیه ها و فروشگاه های بردار اضافه می کنم.
ما با نصب @langchain/community و pdf-parse در یک فهرست جدید شروع می کنیم.
NPM I @Langchain/Community PDF-PARSETHE @LANGCHAIN/COMLUITY شامل طیف وسیعی از ادغام های شخص ثالث است که بسته PDF-Parse یک “ماژول متقاطع JavaScript Cross-Platform برای استخراج متون از PDF ها” است.
در زیر ، می توانید ببینید که چگونه @Langchain/Community در اکوسیستم Langchain قرار می گیرد.
در همان فهرست ، می توانیم یک پرونده جدید index.js ایجاد کنیم و کد زیر را اضافه کنیم.
واردات {pdfloader} از “@langchain/community/document_loaders/fs/pdf” ؛ const loader = pdfloader جدید (“./ pdfs/لات-shareolders-amazon.pdf”) ؛ DOCS = AWAIT LODER.LOAD () ؛ CONSOLE.LOG (DOCS.L طول) ؛
pdfloader یک شیء سند را در هر صفحه PDF بار می کند. بنابراین ، در مورد من ، Docs مجموعه ای از 8 شیء اسناد است زیرا PDF 8 صفحه طول دارد.
// شیء Document {PageContent: string ، metadata: {منبع: ‘./pdfs/letter-to-shareholders-amazon.pdf’ ، pdf: {نسخه: ‘1.10.100’ ، اطلاعات: [Object]، ابرداده: NULL ، TOLLEPAGES: 8} ، LOC: {PAGENUMBER: 1}} ، شناسه: تعریف نشده
برای اجرای لودر در یک محیط گره ، می توانیم به سادگی اجرا کنیم
index.js
گره ماژول های ES را به طور پیش فرض تشخیص نمی دهد ، بنابراین باید قسمت زیر را در Package.json اضافه کنیم.
{“وابستگی ها”: {“@langchain/community”: “^0.3.28” ، … وبلاگ کامل را به صورت رایگان در رسانه بخوانیدبشر
منتشر شده از طریق به سمت هوش مصنوعی
منبع: https://towardsai.net/p/artificial-intelligence/semantic-search-engine-using-langchain