هوش مصنوعی مولد در امنیت: ریسک ها و استراتژی های کاهش

هوش مصنوعی مولد با انتشار ChatGPT ظاهراً یک شبه تبدیل به شدیدترین کلمه کلیدی فناوری شد. دو سال بعد، مایکروسافت از مدل‌های پایه OpenAI استفاده می‌کند و سؤالات مشتریان را در مورد اینکه چگونه هوش مصنوعی چشم‌انداز امنیتی را تغییر می‌دهد، ارائه می‌کند.

Siva Sundaramoorthy، معمار ارشد امنیت راه حل های ابری در مایکروسافت، اغلب به این سوالات پاسخ می دهد. این کارشناس امنیتی مروری بر هوش مصنوعی مولد – از جمله مزایا و خطرات امنیتی آن – برای جمعی از متخصصان امنیت سایبری در ISC2 در لاس وگاس در 14 اکتبر ارائه کرد.

استفاده از هوش مصنوعی مولد چه خطرات امنیتی می تواند داشته باشد؟

ساندارامورثی در طول سخنرانی خود در مورد نگرانی های خود بحث کرد دقت GenAI. او تأکید کرد که این فناوری به عنوان یک پیش‌بینی‌کننده عمل می‌کند و آنچه را که محتمل‌ترین پاسخ می‌داند انتخاب می‌کند – اگرچه پاسخ‌های دیگر نیز ممکن است بسته به زمینه درست باشند.

متخصصان امنیت سایبری باید موارد استفاده از هوش مصنوعی را از سه زاویه در نظر بگیرند: استفاده، برنامه کاربردی و پلت فرم.

Sundaramoorthy گفت: “شما باید درک کنید که از چه موارد استفاده ای می خواهید محافظت کنید.”

وی افزود: «توسعه دهندگان و افراد زیادی در شرکت ها قرار است در این سطل مرکزی حضور داشته باشند [application] جایی که افراد در حال ایجاد اپلیکیشن در آن هستند. هر شرکتی یک ربات یا یک هوش مصنوعی از پیش آموزش دیده در محیط خود دارد.

ببینید: AMD رقیب خود را معرفی کرد به تراشه های هوش مصنوعی سنگین NVIDIA در هفته گذشته که جنگ سخت افزاری ادامه دارد.

هنگامی که کاربرد، برنامه و پلتفرم مشخص شد، هوش مصنوعی می تواند به طور مشابه با سیستم های دیگر – البته نه به طور کامل – ایمن شود. خطرات خاصی با هوش مصنوعی مولد بیشتر از سیستم های سنتی ظاهر می شوند. Sundaramoorthy هفت خطر پذیرش را نام برد که عبارتند از:

• تعصب.
• اطلاعات غلط
• فریب.
• عدم پاسخگویی
• اتکای بیش از حد
• حقوق مالکیت معنوی
• تاثیر روانی

هوش مصنوعی یک نقشه تهدید منحصر به فرد، مطابق با سه زاویه ذکر شده در بالا ارائه می دهد:

• استفاده از هوش مصنوعی در امنیت می تواند منجر به افشای اطلاعات حساس، IT سایه از برنامه ها یا پلاگین های مبتنی بر LLM شخص ثالث یا خطرات تهدید داخلی شود.
• برنامه های کاربردی هوش مصنوعی در امنیت می توانند درها را برای تزریق سریع، نشت داده ها یا نفوذ، یا خطرات تهدید داخلی باز کنند.
• پلتفرم‌های هوش مصنوعی می‌توانند مشکلات امنیتی را از طریق مسمومیت داده‌ها، حملات انکار سرویس به مدل، سرقت مدل‌ها، وارونگی مدل یا توهم ایجاد کنند.

مهاجمان می‌توانند از استراتژی‌هایی مانند مبدل‌های سریع – با استفاده از مبهم‌سازی، ترفندهای معنایی، یا دستورالعمل‌های آشکارا مخرب برای دور زدن فیلترهای محتوا – یا تکنیک‌های فرار از زندان استفاده کنند. آنها به طور بالقوه می توانند از سیستم های هوش مصنوعی سوء استفاده کنند و داده های آموزشی را مسموم کنند، تزریق سریع انجام دهند، از طراحی پلاگین ناامن استفاده کنند، حملات انکار سرویس را راه اندازی کنند یا مدل های هوش مصنوعی را مجبور به افشای داده ها کنند.

“اگر هوش مصنوعی به سیستم دیگری وصل شود، به API که می تواند نوعی کد را در برخی از سیستم های دیگر اجرا کند، چه اتفاقی می افتد؟” ساندارامورتی گفت. “آیا می توانید هوش مصنوعی را فریب دهید تا یک درب پشتی برای شما بسازد؟”

تیم های امنیتی باید خطرات و مزایای هوش مصنوعی را متعادل کنند

از Sundaramoorthy استفاده می کند Copilot مایکروسافت اغلب و آن را برای کار خود ارزشمند می داند. با این حال، او گفت: “ارزش پیشنهادی برای هکرها بسیار بالا است که نتوانند آن را هدف قرار دهند.”

سایر نقاط دردناکی که تیم های امنیتی باید در مورد هوش مصنوعی بدانند عبارتند از:

• ادغام فناوری جدید یا تصمیمات طراحی، آسیب پذیری هایی را معرفی می کند.
• کاربران باید برای سازگاری با قابلیت های جدید هوش مصنوعی آموزش ببینند.
• دسترسی و پردازش داده های حساس با سیستم های هوش مصنوعی خطرات جدیدی ایجاد می کند.
• شفافیت و کنترل باید در طول چرخه حیات هوش مصنوعی ایجاد و حفظ شود.
• زنجیره تامین هوش مصنوعی می تواند کد آسیب پذیر یا مخرب را معرفی کند.
• عدم وجود استانداردهای انطباق تثبیت شده و تکامل سریع بهترین شیوه ها، چگونگی ایمن سازی موثر هوش مصنوعی را نامشخص می سازد.
• رهبران باید یک مسیر قابل اعتماد برای برنامه های کاربردی یکپارچه هوش مصنوعی از بالا به پایین ایجاد کنند.
• هوش مصنوعی چالش های منحصر به فرد و ناشناخته ای مانند توهم را معرفی می کند.
• ROI هوش مصنوعی هنوز در دنیای واقعی ثابت نشده است.

علاوه بر این، Sundaramoorthy توضیح داد که هوش مصنوعی مولد می تواند به هر دو روش مخرب و خوش خیم شکست بخورد. یک شکست مخرب ممکن است شامل دور زدن یک مهاجم از پادمان های هوش مصنوعی با ظاهر شدن به عنوان یک محقق امنیتی برای استخراج اطلاعات حساس مانند رمزهای عبور باشد. هنگامی که محتوای مغرضانه به دلیل فیلتر ضعیف داده های آموزشی، به طور ناخواسته وارد خروجی هوش مصنوعی می شود، ممکن است یک شکست خوش خیم رخ دهد.

راه های قابل اعتماد برای ایمن سازی راه حل های هوش مصنوعی

علیرغم عدم قطعیت پیرامون هوش مصنوعی، راه‌های آزمایش شده و قابل اعتمادی برای ایمن کردن راه‌حل‌های هوش مصنوعی به شیوه‌ای کاملاً منطقی وجود دارد. سازمان‌های استاندارد مانند NIST و OWASP چارچوب‌های مدیریت ریسک را برای کار با هوش مصنوعی مولد ارائه می‌کنند. MITER ماتریس ATLAS را منتشر می کند، کتابخانه ای از تاکتیک ها و تکنیک های شناخته شده ای که مهاجمان علیه هوش مصنوعی استفاده می کنند.

علاوه بر این، مایکروسافت ابزارهای حاکمیتی و ارزیابی را ارائه می دهد که تیم های امنیتی می توانند از آنها برای ارزیابی راه حل های هوش مصنوعی استفاده کنند. گوگل نسخه مخصوص به خود را ارائه می دهد که Secure AI Framework است.

سازمان‌ها باید اطمینان حاصل کنند که داده‌های کاربر داده‌های مدل آموزشی را از طریق پاک‌سازی و پاک‌سازی کافی داده‌ها وارد نمی‌کنند. آنها باید اعمال کنند اصل کمترین امتیاز هنگام تنظیم دقیق یک مدل هنگام اتصال مدل به منابع داده خارجی باید از روش های کنترل دسترسی دقیق استفاده شود.

در نهایت، Sundaramoorthy گفت: “بهترین شیوه ها در سایبر بهترین شیوه ها در هوش مصنوعی است.”

استفاده از هوش مصنوعی – یا عدم استفاده از هوش مصنوعی

اصلاً از هوش مصنوعی استفاده نکنیم؟ نویسنده و محقق هوش مصنوعی ژانل شین، که در افتتاحیه کنگره امنیت ISC2 صحبت کرد، خاطرنشان کرد که یکی از گزینه‌های تیم‌های امنیتی استفاده نکردن از هوش مصنوعی به دلیل خطراتی است که ایجاد می‌کند.

ساندارامورتی روش متفاوتی در پیش گرفت. اگر هوش مصنوعی بتواند به اسنادی در یک سازمان دسترسی پیدا کند که باید از هر برنامه خارجی ایزوله باشد، او گفت: «این یک مشکل هوش مصنوعی نیست. این یک مشکل کنترل دسترسی است.”

سلب مسئولیت: ISC2 هزینه بلیط هواپیما، محل اقامت و برخی از وعده های غذایی من را برای رویداد کنگره امنیت ISC2 که از 13 تا 16 اکتبر در لاس وگاس برگزار شد پرداخت کرد.