از تنگنا به زور چند برابر: چگونه قدرت مهندسی داده ها مسئولیت AI را در مقیاس – مجله زمانی AI

برای راهنمایی شرکت AI شرکت ، ما معرفی می کنیم 5w1h + raci + چارچوب دیسک-یک مدل توصیف تحول از داده های خام و اطلاعات عمومی به مهارت های دستی و دانش متنی. تیم های مهندسی داده (DE) برای این پیشرفت مهم هستند و کنجکاوی پراکنده هوش مصنوعی را به توانایی سازمانی ساختاری تبدیل می کنند.

به عنوان تقاضای تجارت برای Skyrockets AI ، تیم های مهندسی داده (DE) اغلب خود را در یک پارادوکس گرفتار می کنند. در حالی که نوآوری AI نیاز به داده های با کیفیت بالا ، داده شده و خطوط لوله قابل تکرار دارد ، تیم های DE نازک کشیده شده و سیستم های زیرساخت و تولید را حفظ می کنند. این مقاله یک مدل همکاری جدید را ارائه می دهد که در آن تیم ها از سازندگان تنها به معماران فعال تغییر می کنند. تیم های DE با ایجاد نگهبان ، حاکمیت و مربیگری – که از طریق مدل RACI ساخته می شوند – به واحدهای تجاری توانمند می کنند تا راه حل های قابل اعتماد و مقیاس پذیر AI را بسازند.

1. موتور مخفی پشت AI: چرا مهندسی داده ها اهمیت دارد

سیستم های هوش مصنوعی به تنهایی اطلاعاتی را اجرا نمی کنند. آنها روی خطوط لوله ، تحولات ، ردیابی نسب ، کنترل دسترسی ، مشاهده و مجموعه داده های قابل اعتماد اجرا می شوند. به طور خلاصه ، آنها اجرا می شوند مهندسی داده هابشر

هر مدل AI با عملکرد بالا توسط زیرساخت های ساخته شده و نگهداری شده توسط مهندسان داده پشتیبانی می شود. این متخصصان انبارهای داده ، فروشگاه های ویژگی و خطوط لوله رویداد را طراحی و نگهداری می کنند که به عنوان شریان برنامه های هوشمند خدمت می کنند. آنها کیفیت ، قابلیت اطمینان و حاکمیت را تضمین می کنند – ستون های ساکت و در عین حال بنیادی هر سیستم یادگیری ماشین.

هنگامی که داده ها از دست رفته ، دیر یا اشتباه ، AI شکست می خورد. هنگامی که سیستم عامل ها ایمن یا مقیاس پذیر نیستند ، هوش مصنوعی نمی تواند به تولید برود. مهندسان داده ها فقط پشتیبانی فنی نیستند. آنها هستند فعال کننده های استراتژیک اطلاعات سازمانیبشر

2. فشار سازمانی: تجارت اکنون AI را می خواهد

واحدهای تجاری امروز گرسنه هستند. از تیم های بازاریابی که به دنبال مدل های شخصی سازی گرفته تا تیم های حسابرسی با هدف تشخیص ناهنجاری ، گرفته تا HR برای بررسی پیش بینی جذابیت ، همه می خواهند یک قطعه از وعده هوش مصنوعی را بخواهند.

اما یک صید وجود دارد.

تیم های مهندسی داده ها اغلب با حفظ دریاچه های داده ، گردش کار حاکمیتی و SLA ها برای خطوط لوله تولید غرق می شوند. آنها به سادگی پهنای باند را برای پشتیبانی از هر درخواست آزمایشی AI نداریدبشر

طبق گفته مک کینزی ، 78 ٪ سازمانها با استفاده از هوش مصنوعی حداقل در یک عملکرد تجاری گزارش می دهند که نسبت به سال گذشته 55 ٪ افزایش یافته است. در همین حال ، 87 ٪ از سازمان های جهانی معتقدند هوش مصنوعی یک مزیت رقابتی را ارائه می دهد. این آمار فوریت سازمانی را برای پشتیبانی مقیاس پذیر هوش مصنوعی برجسته می کند.

این منجر به شکاف می شود: طرف تجاری می خواهد سریع بسازد. طرف فنی باید از طولانی مدت محافظت کند. اگر حل نشده باشد ، این می تواند منجر به پروژه های AI Shadow ، مجموعه داده های خاموش و نتایج متناقض شود – در نهایت اعتماد به کل عملکرد داده ها را از بین می برد.

3. تراز کردن سریع با مقیاس سازمانی: دو روش تفکر

تیم های تجاری به طور معمول با ذهنیت ارائه بینش به هوش مصنوعی نزدیک می شوند: آنها می خواهند برنده های سریع ، مدل های یک طرفه یا ابزاری برای خودکار سازی تصمیمات باشند. تمرکز آنها “چه” و “چرا” است.

تیم های مهندسی داده در مورد سیستم ها فکر می کنند: خطوط لوله ای که در مقیاس ، قراردادهای داده ای که شکسته نمی شوند ، نسب که حسابرسی می کند و نظارت می کند که از خرابی های خاموش جلوگیری می کند. تمرکز آنها “چگونه” و “برای همیشه” است.

به جای برخورد ، این دو ذهنیت باید مکمل یکدیگر تیم های DE نیازی به ساختن هر مدل ندارند. آنها باید فعال کردن دیگران برای ساختن مسئولیت پذیر.

یک بررسی 2023 توسط ascend.io نشان داد که 97 ٪ از تیم های داده در حال حاضر در ظرفیت یا بیش از حد هستند و 93 ٪ انتظار دارند که تعداد خطوط لوله افزایش یابد و بیش از نیمی از رشد بالاتر از 50 ٪ را پیش بینی کند. این امر باعث می شود تا تنها مسیر مقیاس پذیر به جلو باشد.

یکی از راه های ایجاد این هارمونی ، آوردن بهترین روشهای مهندسی نرم افزار به توسعه هوش مصنوعی به رهبری تجارت. مهندسان داده می توانند معرفی کنند:

• بررسی های طراحی برای تراز کردن قصد تجارت با امکان سنجی فنی
• مخازن کد (به عنوان مثال ، git) برای مدیریت کنترل و همکاری نسخه
• مدولار سازی کد و استفاده مجدد برای کاهش افزونگی
• تست و اعتبار سنجی خودکار برای اطمینان از استحکام

در همین حال ، تیم های تجاری می توانند به DES کمک کنند تا زمینه دنیای واقعی ، تفاوت های ظریف منطق دامنه و مواردی را که داده ها به تنهایی نشان نمی دهند ، درک کنند. این تبادل متقابل دانش همدلی ایجاد می کند و مشارکت را تقویت می کند.

4. چارچوب هایی برای مقیاس گذاری فعال سازی AI

در این بخش سه مدل ساختاری ترکیب شده است که همکاری های مقیاس پذیر و عملکردی AI را راهنمایی می کنند: 5w1h برای scoping projectبا RACI برای وضوح نقشوت دیسک برای پیشرفت بلوغبشر

4.1 چارچوب 5W1H: Scoping AI Enablement

برای اطمینان از تراز ، وضوح و تکرارپذیری در ابتکارات هوش مصنوعی ، ما کلاسیک را اعمال می کنیم چه ، چرا ، کجا ، چه زمانی ، چه کسی ، و چگونه چارچوب:

پرسش	تمرکز	برنامه در AI Enablement
چه	مشکل حل شده یا فرصتی برای گرفتن	مورد استفاده AI را تعریف کنید (به عنوان مثال ، پیش بینی چرن ، تشخیص کلاهبرداری)
چرا	ارزش استراتژیک	ابتکار عمل را به OKRS سازمانی یا KPI ها پیوند دهید
کجا	منابع داده و نقاط لمسی	سیستم ها ، مجموعه داده ها یا سیستم عامل های درگیر را شناسایی کنید
کی	جدول زمانی و فرکانس	مهلت های تحویل ، چرخه های بازآموزی یا محرک های حساس به زمان را روشن کنید
سازمان بهداشت جهانی	نقش ها و مسئولیت ها	از RACI برای اختصاص DE ، تجارت ، انطباق و ذینفعان Analytics استفاده کنید
چگونه	روش اعدام	دیسک + الگوهای قابل استفاده مجدد ، بررسی ها و سیاست های حاکمیتی را اعمال کنید

4.2 مدل RACI: فعال با پاسخگویی

برای تراز کردن مسئولیت ها و اطمینان از پاسخگویی بدون خفه کردن نوآوری ، ما کلاسیک را اتخاذ کردیم مدل:

نقش	تیم (ها)	مسئولیت
مسئول	تحلیلگران تجارت ، کارشناسان دامنه	با استفاده از مجموعه داده های تأیید شده ، الگوها و استانداردهای برنامه نویسی ، مدل های AI را بسازید
مسئول	مهندسی داده ها	صاحب پلتفرم داده ، اجرای حاکمیت و انجام بررسی های طراحی/کد
مشورت	مهندسان ML ، معماران	راهنمای انتخاب ویژگی ، انصاف مدل ، تنظیم عملکرد
مطلع	انطباق ، رهبری ، مباشر داده ها	در مورد موارد استفاده به روز شوید ، از تراز سازمانی و کاهش خطر اطمینان حاصل کنید

این ایجاد شده است وضوح بدون بوروکراسیبشر کاربران تجاری مسیرهای روشنی برای نمونه اولیه داشتند. DE اطمینان داشت که استانداردها رعایت می شوند.

علاوه بر این ، تیم های DE:

• ایجاد شده الگوهای نوت بوک وت مجموعه داده های تأیید شده
• مستقر گردش کار مبتنی بر GIT با بررسی همسالان
• برنامه ریزی شده ساعات اداری و کانال های شلخته ناهمزمان
• ساخته شده خطوط لوله CI/CD برای استقرار
• انجام شده بررسی های طراحی برای تراز کردن با منطق مدل و فرضیات داده
• اصل را تقویت کرد که تیم مهندسی داده ها زیرساخت داده های اصلی را در اختیار دارد و حفظ می کند، از جمله خطوط لوله داده ، لایه های ذخیره سازی و سیاست های حاکمیتی
• تیم های تجاری را قادر ساختند تا مدل های هوش مصنوعی و اسکریپت های اتوماسیون را بسازند در این محیط ها تحت هدایت، اطمینان از قوام ، امنیت و قابلیت حفظ طولانی مدت

DE متوقف شد که مسدود کننده است. آنها شدند مربیان ، معماران و داورانبشر

4.3 چارچوب دیسک: از آگاهی گرفته تا هوش سازمانی

برای ارائه یک دید روشن و ساختار یافته از بلوغ AI ، ما ارائه می دهیم چارچوب دیسک با نقش های متمایز هم برای تیم های مهندسی داده و هم در تیم های تجاری:

مرحله	تعریف	نقش مهندسی داده ها	نقش تیم های تجاری
داده	ابزارهای خام ، مدل ها و مستندات خارجی	منابع و اعتبار سنجی ؛ کاتالوگ داده های داخلی را ایجاد کنید و کنترل دسترسی را ارائه دهید	نیازهای داده مربوطه را شناسایی کرده و از طریق کانال های تعریف شده درخواست دسترسی کنید
اطلاعات	آموزش و یادگیری خود بر روی ابزارها و سیستم عامل ها	اطلاعات را به اسناد و الگوهای خاص سازمانی ترجمه کنید	خود را برای حفظ و بررسی موارد استفاده از مشاغل با پشتیبانی از دستورالعمل های DE
مهارت	توانایی عملی در ساخت راه حل های هوش مصنوعی با استفاده از ابزارها	نوت بوک ، الگوهای کد ، آموزش ، بررسی و مدیریت پلتفرم را تهیه کنید	با استفاده از الگوها و گردش کار بررسی شده ، مدل ها و تجزیه و تحلیل ها را بسازید
دانش	درک استراتژیک برنامه AI مسئول در سراسر حوزه ها	از تراز سازمانی اطمینان حاصل کنید ، استفاده مجدد را تسهیل کنید و چارچوب های تصمیم گیری را فعال کنید	هوش مصنوعی را با مسئولیت پذیری در تصمیم گیری گره خورده با اهداف تجاری اعمال کنید

با ساختار فعال سازی هوش مصنوعی از طریق این پیشرفت از داده ها به اطلاعات به مهارت ها به دانش ، تیم های DE فقط خطوط لوله را نمی سازند. آنها اطلاعات سازمانی را پرورش می دهند.

5. فعال کردن تأثیر در مقیاس: آنچه در عمل به نظر می رسد

هنگامی که کاربران تجاری مجهز به ابزارها و چارچوب های مناسب هستند ، آنها از مصرف کنندگان منفعل داده ها متوقف می شوند و شروع به تبدیل شدن به سازندگان فعال راه حل های AI می کنند. این تغییر ، که توسط مهندسی داده ها فعال شده است ، سه سطح تأثیر را باز می کند:

• سرعت به بینش: تیم ها می توانند ایده های هوش مصنوعی را به سرعت و با استفاده از محیط های حاکم بر ایجاد و اعتبارسنجی کنند بدون اینکه از ابتدا شروع کنند یا در صف بلیط منتظر بمانند.
• اعتماد به نفس در استقرار: از آنجا که مدل های هدایت شده در چارچوب های با کیفیت و حاکمیتی ساخته شده اند ، از روز اول آنها آماده تولید هستند.
• یادگیری متقابل: تیم های تجاری در معرض سخت گیری فنی قرار می گیرند ، در حالی که تیم های DE برای زمینه تجارت همدلی می کنند – ایجاد شکاف زبان بین تجزیه و تحلیل و مهندسی.

این فرهنگ “فعال کردن با GuardRails” کل شرکت را تغییر می دهد. از نوآوری منزوی به اطلاعات نهادی– با مهندسی داده ها به عنوان ضرب ، نه تنگنا.

نتیجه گیری: نقش DE مجدداً تصور می شود

آینده هوش مصنوعی در سازمان ها به یک تیم متکی نیست که همه کارها را انجام دهد. این بستگی به هر کس با داربست مناسب انجام می دهد.

هنگامی که مهندسی داده از دروازه بان ها تکامل می یابد چند برابر کننده، AI نه فقط مقیاس پذیر بلکه پایدار می شود. با وجود چارچوب هایی مانند RACI ، ابزارهای قابل استفاده مجدد ، فرآیندهای بررسی طراحی و مدلهای مربیگری واضح ، DE CAN می تواند موج بعدی AI AI را به رهبری کسب و کار و شرکت کند.

برای کسب اطلاعات بیشتر در مورد مهندسی داده ها ، این مورد را بررسی کنید مصاحبه متخصص توسط AI Time Journal انجام شده است.