نویسنده (ها): احمد بولهیا
در اصل منتشر شده در به سمت هوش مصنوعیبشر
تزریق سریع می تواند عامل هوش مصنوعی شما را در نشت داده ها یا رفتار غیرقابل پیش بینی دستکاری کند. دقیقاً چیست و چگونه آن را ضرب و شتم؟
در این دوره فعلی تحت سلطه هوش مصنوعی برنامه نویسی و توسعه وب ، تمایل روزافزون به سمت ادغام وجود دارد LLMS از طریق Chatbots و نمایندگان به محصولات وب و نرم افزاری. با این حال ، مانند هر فناوری جدید دیگر در روزهای ابتدایی خود ، مستعد حملات مخرب است.
Chatbots و نمایندگان از این قاعده مستثنی نیستند. چندین نوع حملات مخرب وجود دارد که می توانند هدف قرار دهند LLM برنامه های مبتنی بر برنامه در سال 2025 ، همانطور که توسط پروژه امنیتی کاربردی در سراسر جهان (OWASP) گزارش شده است ، و “تزریق سریع” در صدر لیست است.
به تازگی ، من در مورد یک مخزن GitHub با صدای جیر جیر Jobergum روبرو شده ام که شامل تمام سیستم های سیستم معروف سطح تولید مانند مکان نما ، Windsurf ، Devin و غیره است.
این امر می تواند از طریق حملات دقیق طراحی شده مانند فرار از زندان و تزریق سریع حاصل شود ، و به وضوح به ما نشان می دهد که حتی سیستم های LLM در سطح تولید نیز در برابر حملات آسیب پذیر هستند و بدون اقدامات قوی برای مقابله با چنین حملاتی شرکت ها به خطر می اندازند ، نه تنها اعتماد به نفس کاربر و همچنین از دست دادن مشتری های ارزشمند ، و همچنین از دست دادن ضررهای مالی قابل توجهی برخوردار هستند.
در این پست ، من برای شما توضیح خواهم داد که تزریق سریع ، نحوه استفاده از آن برای هدف قرار دادن برنامه های مبتنی بر LLM و روش های مختلف برای دفاع از آن ، برای شما توضیح خواهم داد.
Chatbots و نمایندگان… وبلاگ کامل را به صورت رایگان در رسانه بخوانیدبشر
منتشر شده از طریق به سمت هوش مصنوعی
منبع: https://towardsai.net/p/machine-learning/shield-your-ai-agent-from-prompt-injection
