یک نظرسنجی اخیر از 500 متخصص امنیتی توسط HackerOne، یک پلتفرم تحقیقاتی امنیتی، نشان داد که 48٪ معتقدند هوش مصنوعی مهم‌ترین خطر امنیتی برای سازمان آنها است. از جمله بزرگترین نگرانی های آنها در رابطه با هوش مصنوعی عبارتند از:
- داده های آموزشی درز (35٪).
- استفاده غیرمجاز (33%).
- هک مدل های هوش مصنوعی توسط افراد خارجی (32 درصد).
این ترس‌ها نیاز فوری شرکت‌ها به ارزیابی مجدد استراتژی‌های امنیتی هوش مصنوعی خود را قبل از اینکه آسیب‌پذیری‌ها به تهدید واقعی تبدیل شوند، برجسته می‌کند.
هوش مصنوعی تمایل دارد برای تیم‌های امنیتی نتایج مثبت کاذب ایجاد کند
در حالی که گزارش کامل امنیتی هکر تا اواخر پاییز در دسترس نخواهد بود، تحقیقات بیشتر از a گزارش موسسه SANS تحت حمایت HackerOne فاش کرد که 58 درصد از متخصصان امنیتی معتقدند که تیم‌های امنیتی و عوامل تهدید می‌توانند خود را در یک «مسابقه تسلیحاتی» بیابند تا از تاکتیک‌ها و تکنیک‌های هوش مصنوعی در کارشان استفاده کنند.
متخصصان امنیتی در نظرسنجی SANS گفتند که با استفاده از هوش مصنوعی برای خودکارسازی وظایف خسته کننده (71٪) به موفقیت دست یافته اند. با این حال، همان شرکت کنندگان اذعان کردند که عوامل تهدید می توانند از هوش مصنوعی برای کارآمدتر کردن عملیات خود سوء استفاده کنند. به طور خاص، پاسخ دهندگان “بیشتر نگران کمپین های فیشینگ مبتنی بر هوش مصنوعی (79٪) و بهره برداری خودکار از آسیب پذیری ها (74٪) بودند.
ببینید: رهبران امنیتی هستند ناامید شدن با کد تولید شده توسط هوش مصنوعی
مت برومیلی، تحلیلگر موسسه SANS در این باره گفت: «تیم‌های امنیتی باید بهترین برنامه‌ها را برای هوش مصنوعی بیابند تا با دشمنان همگام شوند و در عین حال محدودیت‌های موجود آن را نیز در نظر بگیرند – در غیر این صورت خطر ایجاد کار بیشتری برای خود دارند.» بیانیه مطبوعاتی.
راه حل؟ پیاده سازی های هوش مصنوعی باید تحت بررسی خارجی قرار گیرند. بیش از دو سوم از افراد مورد بررسی (68٪) “بررسی خارجی” را به عنوان موثرترین راه برای شناسایی مسائل ایمنی و امنیت هوش مصنوعی انتخاب کردند.
دان شرتس، معمار ارشد راه حل های HackerOne، در ایمیلی به TechRepublic گفت: «تیم ها در حال حاضر نسبت به سال گذشته نسبت به محدودیت های فعلی هوش مصنوعی واقعی تر هستند». انسان‌ها زمینه‌های مهم زیادی را برای امنیت دفاعی و تهاجمی به ارمغان می‌آورند که هوش مصنوعی هنوز نمی‌تواند آن را تکرار کند. مشکلاتی مانند توهم نیز تیم ها را برای به کارگیری این فناوری در سیستم های حیاتی مردد کرده است. با این حال، هوش مصنوعی همچنان برای افزایش بهره‌وری و انجام وظایفی که به زمینه عمیق نیاز ندارند، عالی است.»
یافته های بیشتر از SANS 2024 AI Survey که در این ماه منتشر شد، عبارتند از:
- 38 درصد قصد دارند در آینده از هوش مصنوعی در استراتژی امنیتی خود استفاده کنند.
- 38.6 درصد از پاسخ دهندگان گفتند که هنگام استفاده از هوش مصنوعی برای شناسایی یا پاسخ به تهدیدات سایبری با کمبودهایی مواجه شده اند.
- 40 درصد از پیامدهای قانونی و اخلاقی به عنوان چالشی برای پذیرش هوش مصنوعی یاد می کنند.
- 41.8 درصد از شرکت ها با واکنش کارکنانی مواجه شده اند که به تصمیمات هوش مصنوعی اعتماد ندارند، که SANS حدس می زند “به دلیل عدم شفافیت” است.
- 43 درصد از سازمان ها در حال حاضر از هوش مصنوعی در استراتژی امنیتی خود استفاده می کنند.
- فناوری هوش مصنوعی در عملیات امنیتی اغلب در سیستم‌های تشخیص ناهنجاری (56.9٪)، تشخیص بدافزار (50.5٪) و پاسخ خودکار حادثه (48.9٪) استفاده می شود.
- 58 درصد از پاسخ‌دهندگان گفتند که سیستم‌های هوش مصنوعی برای شناسایی تهدیدهای جدید یا پاسخ به شاخص‌های پرت تلاش می‌کنند، که SANS آن را به کمبود داده‌های آموزشی نسبت می‌دهد.
- 71 درصد از کسانی که در استفاده از هوش مصنوعی برای شناسایی یا پاسخگویی به تهدیدات سایبری کاستی هایی را گزارش کرده اند، گفته اند که هوش مصنوعی نتایج مثبت کاذب ایجاد می کند.
Anthropic به دنبال اطلاعاتی از محققان امنیتی در مورد اقدامات ایمنی هوش مصنوعی است
سازنده هوش مصنوعی Anthropic خود را گسترش داد برنامه جایزه باگ در HackerOne در ماه اوت.
به طور خاص، آنتروپیک از جامعه هکرها می‌خواهد که «تعیین‌های کاهش‌دهنده ما برای جلوگیری از سوءاستفاده از مدل‌های خود» را آزمایش کنند، از جمله تلاش برای شکستن نرده‌های محافظی که هدف آن جلوگیری از ارائه دستور العمل‌هایی برای مواد منفجره یا حملات سایبری توسط هوش مصنوعی است. آنتروپیک می‌گوید به افرادی که حملات جیلبریک جدید را با موفقیت شناسایی کنند تا سقف 15000 دلار جایزه می‌دهد و به محققان امنیتی HackerOne دسترسی زودهنگام به سیستم کاهش ایمنی بعدی خود را ارائه می‌دهد.
منبع: https://www.techrepublic.com/article/hackerone-generative-ai-security-survey/