متخصصان در سراسر صنایع در حال بررسی هوش مصنوعی مولد برای وظایف مختلف – از جمله ایجاد مواد آموزشی امنیت اطلاعات – هستند، اما آیا واقعاً مؤثر خواهد بود؟
برایان کالاهان، مدرس ارشد و مدیر برنامه های فارغ التحصیل فناوری اطلاعات و علوم وب در موسسه پلی تکنیک Rensselaer، و شوشانا سوگرمن، دانشجوی مقطع کارشناسی در همین برنامه، نتایج آزمایش خود را در مورد این موضوع در کنگره امنیت ISC2 در لاس وگاس در اکتبر ارائه کردند. .
این آزمایش شامل ایجاد آموزش سایبری با استفاده از ChatGPT بود
سوال اصلی این آزمایش این بود که “چگونه می توانیم متخصصان امنیتی را آموزش دهیم تا دستورالعمل های بهتری را برای یک هوش مصنوعی برای ایجاد آموزش های امنیتی واقع بینانه انجام دهند؟” در همین راستا، متخصصان امنیتی باید مهندسان سریعی برای طراحی آموزش موثر با آنها باشند هوش مصنوعی مولد?
برای پاسخ به این سؤالات، محققان همان تکلیف را به سه گروه دادند: کارشناسان امنیتی با گواهینامه های ISC2، کارشناسان مهندسی سریع خودشناس، و افراد با هر دو صلاحیت. وظیفه آنها ایجاد آموزش آگاهی از امنیت سایبری با استفاده از آن بود ChatGPT. پس از آن، آموزش به جامعه پردیس توزیع شد، جایی که کاربران در مورد اثربخشی مطالب بازخورد ارائه کردند.
محققان فرض کردند که تفاوت معنی داری در کیفیت آموزش وجود نخواهد داشت. اما اگر تفاوتی ظاهر شود، مشخص می‌شود که کدام مهارت‌ها مهم‌ترین هستند. آیا درخواست‌های ایجاد شده توسط کارشناسان امنیتی یا متخصصان مهندسی سریع مؤثرتر خواهد بود؟
ببینید: عوامل هوش مصنوعی ممکن است گام بعدی در افزایش پیچیدگی وظایفی باشد که هوش مصنوعی می تواند انجام دهد.
آموزش دهندگان به مطالب بسیار امتیاز دادند – اما ChatGPT اشتباهاتی مرتکب شد
محققان مواد آموزشی حاصل را – که کمی ویرایش شده بود، اما بیشتر شامل محتوای تولید شده توسط هوش مصنوعی بود – بین دانشجویان، اساتید و کارکنان Rensselaer توزیع کردند.
نتایج نشان داد که:
- افرادی که آموزش طراحی شده توسط مهندسان سریع خود را در اجتناب از حملات مهندسی اجتماعی و امنیت رمز عبور ماهرتر ارزیابی کردند.
- کسانی که آموزش طراحی شده توسط کارشناسان امنیتی را گذرانده بودند، خود را در تشخیص و اجتناب از حملات مهندسی اجتماعی، شناسایی فیشینگ و مهندسی سریع مهارت بیشتری ارزیابی کردند.
- افرادی که آموزش طراحی شده توسط کارشناسان دوگانه را گذرانده بودند، خود را در زمینه تهدیدات سایبری و تشخیص فیشینگ مهارت بیشتری ارزیابی کردند.
کالاهان خاطرنشان کرد که برای افرادی که توسط کارشناسان امنیتی آموزش دیده اند، عجیب به نظر می رسد که احساس کنند در مهندسی سریع بهتر هستند. با این حال، کسانی که آموزش را ایجاد کردند، به طور کلی به محتوای نوشته شده با هوش مصنوعی امتیاز چندانی نمی دادند.
کالاهان گفت: “هیچ کس احساس نمی کرد که اولین پاس او به اندازه کافی خوب است که به مردم بدهد.” “این نیاز به بازنگری بیشتر و بیشتر داشت.”
در یک مورد، ChatGPT چیزی شبیه راهنمای منسجم و کامل برای گزارش ایمیل های فیشینگ ارائه کرد. با این حال، هیچ چیزی روی اسلاید نوشته نشده بود. هوش مصنوعی فرآیندها و یک آدرس ایمیل پشتیبانی فناوری اطلاعات را اختراع کرده بود.
درخواست از ChatGPT برای پیوند به پورتال امنیتی RPI به طور اساسی محتوا را تغییر داد و دستورالعمل های دقیقی ایجاد کرد. در این مورد، محققان برای یادگیرندگانی که اطلاعات نادرست را در مواد آموزشی خود دریافت کرده بودند، اصلاحیه صادر کردند. سوگرمن خاطرنشان کرد که هیچ یک از آموزش دهندگان تشخیص ندادند که اطلاعات آموزشی نادرست است.
فاش کردن اینکه آیا آموزش‌ها با هوش مصنوعی نوشته شده‌اند یا خیر، کلیدی است
کالاهان گفت: «اگر شما بدانید که چگونه آن را به درستی بیان کنید، ChatGPT ممکن است به خوبی خط‌مشی‌های شما را بشناسد. او خاطرنشان کرد که RPI یک دانشگاه دولتی است و تمام سیاست های آن به صورت آنلاین در دسترس عموم است.
محققان تنها پس از انجام آموزش فاش کردند که محتوا با هوش مصنوعی تولید شده است. کالاهان و سوگرمن گفتند: واکنش‌ها متفاوت بود:
- بسیاری از دانش‌آموزان «بی‌تفاوت» بودند و انتظار داشتند که برخی از مطالب نوشته شده در آینده آنها توسط هوش مصنوعی ساخته شود.
- دیگران «مشکوک» یا «ترس» بودند.
- برخی آن را “طعنه آمیز” می دانستند که این آموزش با تمرکز بر امنیت اطلاعات توسط هوش مصنوعی ایجاد شده است.
کالاهان گفت که هر تیم فناوری اطلاعات که از هوش مصنوعی برای ایجاد مواد آموزشی واقعی استفاده می کند، برخلاف اجرای آزمایش، باید استفاده از هوش مصنوعی را در ایجاد هر محتوایی که با افراد دیگر به اشتراک گذاشته می شود، افشا کند.
کالاهان گفت: “من فکر می کنم ما شواهد آزمایشی داریم که هوش مصنوعی مولد می تواند ابزار ارزشمندی باشد.” اما، مانند هر ابزار دیگری، خطراتی را به همراه دارد. بخش‌های خاصی از آموزش ما اشتباه، گسترده یا عمومی بود.»
چند محدودیت آزمایش
کالاهان به چند محدودیت این آزمایش اشاره کرد.
او توضیح داد: «ادبیات وجود دارد مبنی بر اینکه ChatGPT و سایر هوش مصنوعی‌های مولد باعث می‌شوند افراد احساس کنند چیزهایی را یاد گرفته‌اند، حتی اگر آن چیزها را یاد نگرفته باشند».
کالاهان خاطرنشان کرد: آزمایش افراد بر روی مهارت های واقعی، به جای اینکه از آنها بخواهیم گزارش دهند که آیا احساس می کنند آموخته اند یا خیر، زمان بیشتری از زمان اختصاص داده شده برای مطالعه می برد.
پس از ارائه، من پرسیدم که آیا کالاهان و شوگرمن به استفاده از یک گروه کنترل آموزشی که کاملاً توسط انسان نوشته شده بود، فکر کرده‌اند. کالاهان گفت، آنها داشتند. با این حال، تقسیم سازندگان آموزش به کارشناسان امنیت سایبری و مهندسان سریع بخش کلیدی این مطالعه بود. در جامعه دانشگاهی افراد کافی وجود نداشت که خود را به عنوان متخصصان مهندسی سریع برای ایجاد یک دسته کنترل برای تقسیم بیشتر گروه ها معرفی کنند.
ارائه پانل شامل داده های یک گروه کوچک اولیه از شرکت کنندگان – 15 آزمون گیرنده و سه آزمون ساز بود. در یک ایمیل بعدی، کالاهان به TechRepublic گفت که نسخه نهایی برای انتشار شامل شرکت‌کنندگان دیگری خواهد بود، زیرا آزمایش اولیه تحقیقات آزمایشی در حال انجام بود.
سلب مسئولیت: ISC2 هزینه بلیط هواپیما، محل اقامت و برخی از وعده های غذایی من را برای رویداد کنگره امنیتی ISC2 که در 13 تا 16 اکتبر در لاس وگاس برگزار شد پرداخت کرد.
منبع: https://www.techrepublic.com/article/generative-ai-security-training/