نویسنده (ها): دکتری یونس خادرووی
در ابتدا منتشر شده در به سمت هوش مصنوعیبشر
طی یک سال گذشته ، ما شاهد انفجار برنامه هایی بوده ایم که به کاربران اجازه می دهد “با هوش مصنوعی صحبت کنند.” این که آیا این خلاصه اسناد است ، سؤال در مورد صفحه گسترده ، تجزیه و تحلیل متن حقوقی یا گپ زدن با ربات پشتیبانی مشتری – این برنامه ها اغلب به کاربران یک جعبه متن ساده می دهند و در پشت صحنه ، آنها آن را به یک مدل بزرگ زبان منتقل می کنند (LLM) مانند GPT-4.
برای کاربر ، احساس ساده و جادویی می کند. برای توسعه دهنده ، این یک بمب زمانی است.
در این پست می خواهم یک تهدید جدی و تحت نظارت را برجسته کنم: حملات تزریق سریع. اینها فقط خطرات نظری نیستند – آنها فعال ، قابل بهره برداری و در حال رشد هستند. و تقریباً مانند تزریق SQL در دهه 2000 ، آنها تهدید می کنند که رایج ترین وکتور برای به خطر انداختن است LLMبرنامه های قدرتمند.
بیایید بگوییم که شما یک چت بابات را برای مشتریان خود می سازید. برای اطمینان از اینکه هوش مصنوعی از نظر شخصیت باقی می ماند و فقط پاسخ های ایمن و مفید می دهد ، شما چیزی شبیه به این می نویسید:
سریع سیستم: “شما یک نماینده پشتیبانی مشتری مودب و مفید برای شرکت ACME هستید. فقط به سؤالات مربوط به خدمات ما پاسخ دهید و هرگز اطلاعات محرمانه را فاش نکنید.” ورودی کاربر: “سفارش من کجاست؟”
فوری کامل که به LLM منتقل می شود ، جمع بندی سریع سیستم شما و ورودی کاربر است.
اما چه … وبلاگ کامل را به صورت رایگان در رسانه بخوانیدبشر
منتشر شده از طریق به سمت هوش مصنوعی