جریان با AI Pydantic | به سمت هوش مصنوعی

نویسنده (ها): بارته استوانه

در ابتدا منتشر شده در به سمت هوش مصنوعیبشر

ساختن یک الگوی اطراف LLM جریاناعتبار ولدیمیر Hryshchenko در Unsplash

در مقاله قبلی من در مورد ساخت DAX LLM، من از تماسهای API پایه برای پخش داده ها از انسان شناسی استفاده کردم. در این مقاله ، ما به دنبال استفاده از Pydantic AI برای تولید و گسترش بیشتر در این الگوی خواهیم بود تا بتوانیم تماس های ابزار را نیز در بر بگیریم.

Pydantic AI یک چارچوب جدید عامل LLM است. این تیم توسط تیم پشت پییدنتیک ساخته شده است ، که من از طریق استفاده گذشته در پروژه های Fastapi طرفدار آن هستم. در مقایسه با چیزی مانند Langchain از نظر دامنه کوچکتر است و پلی را برای ایجاد بلوک های ساختمانی LLM فراهم می کند.

Async def anthropic_stream_api_call (chat_input_list: لیست) -> asyncgenerator[str, None]: “” “پاسخ انسان شناسی را پخش می کند. استدلال ها: chat_input_list (لیست): لیست ورودی های گپ برای ارسال به API. بازده: asyncgenerator[str, None]: جریان پاسخ انسان شناسی. “” ” # ساخت لیست پیام پیام_ input = build_anthertic_message_input (chat_input_list = chat_input_list) # تماس و تماس با API را تنظیم کنید. مشتری = asyncanthropic (api_key = anthropic_api_key) stream.messages.reate (model =” claude-3-5-sennet-5-202-202 دما = 0.2 ، system = get_system_prompt (chat_input_list) ، پیام = پیام_ input ، جریان = درست) async برای رویداد در جریان: اگر رویداد. [‘message_start’, ‘message_delta’, ‘message_stop’, ‘content_block_start’, ‘content_block_stop’]: Pass Elif Event.type == ‘Content_block_delta’: Event.delta.text other: event type.

مهمترین نمونه با رویکرد تماس API پایه عملکرد زیر است:

تماس API در یک عملکرد async انجام می شود و سپس رویدادهایی برای پخش و نمایش در صورت نیاز از طریق یک… وبلاگ کامل را به صورت رایگان در رسانه بخوانیدبشر

منتشر شده از طریق به سمت هوش مصنوعی