نویسنده(های): پل فرگوسن، Ph.D.
در ابتدا منتشر شد به سمت هوش مصنوعی.
چرا ما از باهوشترین ماشینهایمان پاسخ میخواهیم؟
هوش مصنوعی تصمیماتی است که بر زندگی ما تأثیر می گذارد، از تأیید وام گرفته تا تشخیص های پزشکی. با این حال، با وجود همه پیچیدگیهایشان، اغلب نمیتوانند انتخابهایشان را توضیح دهند – این عدم شفافیت فقط ناامیدکننده نیست – چون هوش مصنوعی در بخشهای حیاتی زندگی ما ادغام میشود، به طور فزایندهای مشکلساز میشود.
هوش مصنوعی توضیحپذیر (XAI) را وارد کنید، زمینهای که به شفافتر و قابل فهمتر کردن فرآیند تصمیمگیری هوش مصنوعی اختصاص دارد.
هوش مصنوعی توضیح پذیر (XAI) چیست؟
توضیحپذیری هوش مصنوعی (XAI) به درک نحوه تصمیمگیری سیستمهای هوش مصنوعی مربوط میشود و از آنجایی که هوش مصنوعی در بخشهای حیاتی زندگی ما یکپارچهتر میشود، بسیار مهم است که بتوانیم به تصمیمات آن اعتماد کنیم و اعتبار آن را تأیید کنیم. [1].
XAI فقط در مورد شفافیت نیست. این در مورد مسئولیت پذیری و انصاف است [2]. تصور کنید یک سیستم هوش مصنوعی به شما وام را رد می کند یا یک بیماری پزشکی را اشتباه تشخیص می دهد … نمی خواهید بدانید چرا؟
تکنیکهایی برای نظارهگری در ذهن هوش مصنوعی
دانشمندان و محققان چندین تکنیک را برای توضیح بیشتر هوش مصنوعی توسعه داده اند:
1. توجه مدل:
به ما کمک می کند بفهمیم هوش مصنوعی روی کدام بخش از داده های ورودی بیشتر تمرکز می کند. به ویژه مفید است در پردازش زبان طبیعی [3].
2. نقشه های برجسته:
ارائه توضیحات بصری برای تصمیم گیری های مبتنی بر تصویر، برجسته کردن مهمترین بخش های تصویر برای پیش بینی هوش مصنوعی [4].
3. LIME (توضیحات مدل قابل تفسیر محلی-آگنوستیک):
یک مدل ساده تر و قابل تفسیر برای توضیح پیش بینی های فردی ایجاد می کند [5].
4. ارزش های شیپلی:
این روش که از تئوری بازی ها وام گرفته شده است، مقادیر اهمیت را به ویژگی های مختلف در فرآیند تصمیم گیری اختصاص می دهد [6].
چالش مدل های هوش مصنوعی مدرن
در حالی که این تکنیک های XAI برای سنتی به خوبی کار می کنند ML مدلها، سیستمهای هوش مصنوعی مدرن مانند مدلهای زبان بزرگ (LLM) چالشهای جدیدی را ارائه میکنند.
این مدلهای عظیم، از OpenAI و دیگران، میتوانند متنی شبیه انسان را پردازش و تولید کنند، اما درک فرآیند تصمیمگیری آنها چندان ساده نیست. [7].
محققان در حال بررسی روشهای جدیدی مانند تجسم توجه و مهندسی سریع برای روشن کردن این سیستمهای پیچیده هستند.
هدف این رویکردهای جدید کمک به درک نحوه عملکرد LLM و توضیح خروجی آنها است. همانطور که هوش مصنوعی به پیشرفت خود ادامه می دهد، یافتن راه هایی برای شفاف تر کردن و توضیح دادن آن به عنوان یک اولویت کلیدی باقی می ماند.
تأثیر دنیای واقعی: زمانی که قابلیت توضیح بیشتر اهمیت دارد
توضیحپذیری فقط یک تمرین آکادمیک نیست، بلکه پیامدهای دنیای واقعی در بخشهای مختلف دارد:
1. مراقبت های بهداشتی:
مطالعه اخیر منتشر شده در Nature Medicine [8] مدل های هوش مصنوعی مورد استفاده برای تجزیه و تحلیل اشعه ایکس قفسه سینه را بررسی کرد. محققان دریافتند که این مدلها بهطور ناخواسته توانایی پیشبینی اطلاعات جمعیتشناختی مانند نژاد، جنسیت و سن را از روی تصاویر، علیرغم عدم آموزش صریح برای انجام این کار، توسعه میدهند.
این قابلیت ناخواسته منجر به “شکاف های منصفانه” در دقت تشخیصی در گروه های مختلف جمعیتی شد.
بدون تکنیکهای هوش مصنوعی قابل توضیح، چنین سوگیریهای حیاتی ممکن است مورد توجه قرار نگیرند و به طور بالقوه منجر به نابرابری در نتایج مراقبتهای بهداشتی و تشخیص نادرست برای جمعیتهای خاص شود.
من که شخصاً به مدت 8 سال در بخش مراقبت های بهداشتی کار کرده ام، اهمیت درک چگونگی تصمیم گیری ها را از نزدیک دریافته ام. تکنیکهای هوش مصنوعی قابل توضیح نه تنها به شناسایی سوگیریهای بالقوه کمک میکنند، بلکه متخصصان مراقبتهای بهداشتی را قادر میسازند تا هوش مصنوعی را با اطمینان ادغام کنند و از مراقبت عادلانه برای همه بیماران اطمینان حاصل کنند.
2. امور مالی:
در زمینه هایی مانند امتیازدهی اعتباری و تشخیص تقلب، درک اینکه چرا یک سیستم هوش مصنوعی تصمیم خاصی گرفته است برای رعایت مقررات و اعتماد مشتری ضروری است. [9].
3. وسایل نقلیه خودران:
تکنیکهای هوش مصنوعی قابل توضیح برای درک و تأیید فرآیندهای تصمیمگیری خودروهای خودران، افزایش ایمنی و قابلیت اطمینان حیاتی هستند.
درس گرفتن از اشتباهات هوش مصنوعی
گاهی اوقات، ارزش واقعی توضیحپذیری زمانی آشکار میشود که نقصهایی را در یادگیری مدل آشکار کند.
یک مثال کلاسیک، مطالعه موردی «هاسکی در برابر گرگ» است: محققان مدلی را آموزش دادند تا بین هاسکی و گرگ تمایز قائل شود، اما متوجه شدند که این مدل عمدتاً بر حضور برف در پسزمینه تمرکز کرده است، نه ویژگیهای خود حیوانات. [5].
این مورد نشان میدهد که چگونه مدلها میتوانند همبستگیهای جعلی را یاد بگیرند که به خوبی تعمیم نمییابند، و بر نیاز به هوش مصنوعی قابل توضیح برای کشف چنین مسائلی تأکید میکند.
راه پیش رو: چالش ها و فرصت ها
در حالی که ما پیشرفت قابل توجهی در هوش مصنوعی قابل توضیح داشته ایم، چالش های متعددی باقی مانده است:
1. تعادل دقت و توضیح پذیری:
اغلب بین عملکرد مدل و توضیح پذیری یک مبادله درک شده وجود دارد. با این حال، پیشرفت های اخیر نشان می دهد که این شکاف ممکن است در حال کاهش باشد.
2. استانداردسازی:
با پیشرفت این زمینه، نیاز روزافزونی به رویکردها و معیارهای استاندارد شده برای ارزیابی شفافیت هوش مصنوعی وجود دارد. [10].
3. ملاحظات اخلاقی:
اطمینان از قابل دسترس بودن و معنادار بودن توضیحات برای گروههای کاربری مختلف، از جمله آنهایی که پیشزمینه فنی ندارند، یک چالش مداوم است.
با نگاهی به آینده، میتوان انتظار داشت که شاهد افزایش ادغام هوش مصنوعی قابل توضیح در بخشهای حیاتی، پیشرفت در توضیحات زبان طبیعی و توسعه چارچوبهای نظارتی جامعتر باشیم. همانطور که هوش مصنوعی به تکامل خود ادامه می دهد، روش های ما برای درک و توضیح این سیستم های پیچیده نیز پیشرفت می کند.
نتیجه گیری: قدرت درک
قابلیت توضیح در هوش مصنوعی و ML است نه فقط یک چالش فنی؛ این یک جزء حیاتی در توسعه هوش مصنوعی مسئول است. از آنجایی که این فناوریها عمیقتر در زندگی ما ادغام میشوند، توانایی درک، اعتماد و اعتبار بخشیدن به تصمیمات آنها بسیار مهم میشود.
با ادامه پیشرفت در زمینه هوش مصنوعی قابل توضیح، میتوانیم از پتانسیل کامل این فناوریهای قدرتمند استفاده کنیم و در عین حال شفافیت، انصاف و مسئولیتپذیری را تضمین کنیم. از این گذشته، هدف فقط ایجاد ماشینهای هوشمندتر نیست، بلکه ایجاد دنیایی هوشمندتر و عادلانهتر برای همه ما است.
اگر می خواهید در مورد من بیشتر بدانید، لطفا بررسی کنید www.paulferguson.me، یا با من در ارتباط باشید لینکدین.
برای مقالات بیشتر در مورد هوش مصنوعی در تجارت، در صورت تمایل به بررسی من بپردازید پروفایل متوسط.
مراجع
[1] F. Doshi-Velez و B. Kim، “Towards A Rigorous Science of Interpretable Machine Learning,” arXiv preprint arXiv:1702.08608، 2017.
[2] سی. رودین، «توضیح مدلهای یادگیری ماشین جعبه سیاه را برای تصمیمات با ریسک بالا متوقف کنید و به جای آن از مدلهای قابل تفسیر استفاده کنید»، Nature Machine Intelligence، جلد. 1، صفحات 206-215، 2019.
[3] A. Vaswani و همکاران، “توجه تنها چیزی است که شما نیاز دارید”، در Advances in Neural Information Processing Systems، 2017، صفحات 5998-6008.
[4] RR Selvaraju و همکاران، “Grad-CAM: Visual Explanations from Deep Networks Via Gradient-based Localization”، در مجموعه مقالات کنفرانس بین المللی IEEE در بینایی کامپیوتر، 2017، صفحات 618-626.
[5] MT Ribeiro، S. Singh، و C. Guestrin، “چرا باید به شما اعتماد کنم؟: توضیح پیش بینی های هر طبقه بندی کننده”، در مجموعه مقالات بیست و دومین کنفرانس بین المللی ACM SIGKDD در مورد کشف دانش و داده کاوی، 2016، صفحات 1135-1135 1144.
[6] SM Lundberg و SI Lee، “رویکرد یکپارچه برای تفسیر پیش بینی های مدل”، در پیشرفت در سیستم های پردازش اطلاعات عصبی، 2017، صفحات 4765-4774.
[7] تی. براون و همکاران، “مدل های زبان یادگیرندگان کمی هستند”، در پیشرفت در سیستم های پردازش اطلاعات عصبی، 2020، صفحات 1877-1901.
[8] M. Zhang و همکاران، “محدودیت های AI تصویربرداری پزشکی منصفانه در تعمیم دنیای واقعی”، Nature Medicine، جلد. 30، شماره 2، صفحات 389-399، فوریه 2024.
[9] BH Misheva، “هوش مصنوعی قابل توضیح در مدیریت ریسک اعتباری،” arXiv preprint arXiv:2103.00949، مارس 2021.
[10] DV Carvalho، EM Pereira، و JS Cardoso، “مفهوم پذیری یادگیری ماشین: بررسی روش ها و معیارها”، Electronics، جلد. 8، نه 8، ص. 832، 2019.
منتشر شده از طریق به سمت هوش مصنوعی
منبع: https://towardsai.net/p/artificial-intelligence/ais-got-some-explaining-to-do