به عنوان سیستم های توصیه بیشتر آنچه را که می خوانیم ، تماشا می کنیم و کشف می کنیم ، ساختن آنها در مقیاس دیگر فقط یک شاهکار مهندسی نیست. این هم یک محصول و هم یک چالش فرهنگی است. در این گفتگو ، نیسارگ شاه ، مدیر محصول در متا و یک رهبر اندیشه در این زمینه ، بینش هایی را در مورد آنچه برای ساخت سیستم های توصیه شده در مقیاس میلیارد ، نحوه تحول هوش مصنوعی به سمت خود به اشتراک می گذارد ، به اشتراک می گذارد. بیش از حد شخصی و تجربیات آگاه فرهنگی ، و چرا آینده محصولات AI در اعتماد و خلاقیت نهفته است.
مقاله ها را در اینجا کاوش کنید: Igor Astrakhovych: از حفاری های نسل بعدی تا آینده ای پایدار برای اقیانوس ها
Nisarg ، به ما بگویید که چگونه وارد ساخت محصولات AI/ML محور شده اید که اکنون توسط میلیاردها نفر استفاده می شود. چه چیزی باعث سفر شما در این زمینه شد؟
سفر من به AI/ML با کنجکاوی کودکی در مورد بازار سهام آغاز شد ، جایی که من متوجه الگوهای حرکات قیمت شدم و فهمیدم که تجزیه و تحلیل آماری می تواند بینش پیش بینی کننده را کشف کند. این علاقه در طول مطالعات مهندسی من توسعه یافت ، جایی که من دوره های ریاضی و آماری را گذراندم که درک و اشتیاق من به این زمینه را عمیق تر می کرد. هوش مصنوعی/ML بستر ایده آل را برای کانال این اشتیاق فراهم کرد و به من کمک کرد تا سیستمهایی را ایجاد کنم که مشکلات پیچیده ای را حل کند و میلیاردها نفر را در سراسر جهان تحت تأثیر قرار دهد. پیشرفت در مدل های بزرگ زبان (LLMS) و سایر تکنیک های هوش مصنوعی امکانات موجود در این فضا را گسترش داده است و ما را قادر می سازد تا محصولات نوآورانه ای ایجاد کنیم که نیازهای کاربر را پیش بینی کرده و تجربه کاربر را تقویت کند. کار در تقاطع تحلیلی های دقیق و نوآوری انسان محور ، راه حل هایی که نحوه ارتباط و تعامل افراد را تغییر می دهد ، بسیار هیجان انگیز است. من همچنین نمی توانم تأثیر عمیقی را که پدرم در زندگی شخصی و حرفه ای من داشته است ، دست کم بگیرم. سفر او به من الهام بخش و یک نیروی هدایت کننده در شکل گیری تصمیمات شغلی من بوده است
در فیس بوک ، شما محصول را برای “گروه هایی که باید به آنها بپیوندید” هدایت می کنید. از دیدگاه فنی و تجربه کاربری ، چه چیزی این سیستم توصیه را منحصر به فرد می کند؟
ویژگی “گروه هایی که باید به آنها بپیوندید” مهم است که با اتصال افراد با علایق مشترک ، صرف نظر از موانع جغرافیایی یا اجتماعی ، مأموریت فیس بوک برای تقویت جامعه را مهم کند. من توسعه محصول را برای تیمی از 23 مهندس ، 3 دانشمند داده و 3 مدیر مهندسی هدایت می کنم که همگی به سمت این مأموریت یکپارچه کار می کنند. همه ما برای یک هدف کار می کنیم. آنچه این سیستم توصیه را منحصر به فرد می کند ، توانایی آن در ساخت یک پروفایل به روز شده از علایق کاربر است و سیگنال های نامزدی کوتاه مدت را با احساسات بلند مدت ترکیب می کند. بر خلاف سیستم های سنتی که فقط بر تعامل فوری متمرکز شده اند ، رویکرد ما با ترکیب علایق صریح ، نمودار اجتماعی و الگوهای رفتاری برای ایجاد درک چند بعدی از کاربران ترکیب می شود. به عنوان مثال ، ما گروه هایی را که دوستان در آن فعال هستند ، در اولویت قرار می دهیم زیرا نفوذ اجتماعی اغلب ارتباطات معنی دار را به حرکت در می آورد. این سیستم از AI AI برای فیلتر کردن نویز استفاده می کند ، و اطمینان می دهد که توصیه ها بسیار مرتبط و جذاب هستند. با پالایش مشخصات کاربر و درج بازخورد در زمان واقعی ، ما به کاربران کمک می کنیم تا جوامع پر جنب و جوش را که ممکن است در غیر این صورت پیدا نکرده باشند ، کشف کنند و یک تجربه شخصی منحصر به فرد را ارائه دهند.
در واقع ، متا اولین جایی نیست که من در سیستم های توصیه در مقیاس بزرگ کار کرده ام. قبل از پیوستن به این شرکت در سال 2022 ، تقریباً پنج سال را در آمازون گذراندم ، جایی که من مدیریت محصول را برای مهمانی Watch Prime Video هدایت کردم. این ویژگی به یک معیار صنعت تبدیل شد و به مردم این امکان را می دهد تا در طول همه گیر Covid-19 از محتوا لذت ببرند. من همچنین برای بهبود طبقه بندی محتوا برای Prime Video ، در زمینه استفاده از Computer Vision کار کردم ، که باعث شد کشف محتوای جدید برای کاربران بسیار کارآمدتر شود. این تجربه واقعاً من را به فکر بیشتر در مورد سیستم های مقیاس گذاری و درک نیازهای کاربر در سطح جهانی سوق داد.
چالش های اساسی در ساخت سیستم های توصیه مقیاس پذیر برای سیستم عامل های اجتماعی ، به ویژه در مقیاس میلیارد؟ از دیدگاه محصول ، سخت ترین قسمت چیست؟
سیستم های توصیه سازی در مقیاس میلیارد در مقیاس هم یک چالش فنی و هم یک محصول است. از نظر فنی ، سخت ترین بخش ، کاهش میلیون ها نامزد بالقوه فقط به چند صد توصیه ، سریع ، کارآمد و با هزینه کم است. این امر به یک معماری رتبه بندی چند مرحله ای نیاز دارد و پردازش در زمان واقعی را با شخصی سازی عمیق ترکیب می کند. سیستم های توزیع شده ، ذخیره سازی پیشرفته و لایه های بازیابی هوشمند برای پایین نگه داشتن تأخیر در ضمن رسیدگی به حجم گسترده داده ها ضروری هستند.
یکی دیگر از چالش های مهم کشف نقاط کور: اطمینان از عدم توجه به سیستم از گروه های تحت حمایت و یا منافع نوظهور نیست. با رشد سکوها ، خطر تقویت الگوهای موجود و نادیده گرفتن آنچه جدید یا کم نماینده است ، نیز خطر می کند.
از دیدگاه محصول ، سخت ترین قسمت ، فشار آوردن سیستم به ابعاد جدید است و توصیه هایی را که قبلاً هرگز ارائه نشده است ، معرفی می کند. اول ، ما از سایر ویژگی های محصول ، از جمله صفحات ویدیویی و جامعه کوتاه و از برنامه های وابسته برای اتصال افراد با جوامع جدید آنلاین ، از علاقه های خود استفاده می کنیم. دوم ، ما از مدل های بزرگ زبان برای استنباط ابعاد اضافی در مورد شخص از متن ، مانند گروه سنی و رویدادهای مهم زندگی استفاده می کنیم. به عنوان مثال ، ما سیگنالهایی مانند جابجایی یا شروع کالج را در نظر می گیریم. این رویکردها توصیه هایی را که فیلتر کردن مشترک سنتی یا سیگنال های نامزدی خالص احتمالاً از دست می دهند ، امکان پذیر می کنند.
این می تواند به معنای ظاهر شدن جوامع طاقچه ، ترجیحات کاربر نهفته یا قالب های جدید باشد. این تغییرات نیاز به آزمایش بی امان ، حساسیت به کاربر و تکرار برای ایجاد تعادل مناسب بین تازگی ، اعتماد و ارتباط طولانی مدت دارد.
من می دانم که شما همچنین در راه اندازی کنترل کاربر “علاقه مند/علاقه مند” در اینستاگرام کار کرده اید. چگونه مشکل بازخورد پر سر و صدا را حل کردید ، مانند زمانی که کاربر “علاقه مند نیست” اما رفتار آنها در غیر این صورت نشان می دهد؟
کنترل “علاقه مند/علاقه مند” در اینستاگرام به کاربران این امکان را می دهد تا تجربه محتوای خود را شکل دهند ، اما تفسیر بازخورد مانند “علاقه مند” به دلیل سر و صدای ذاتی آن می تواند چالش برانگیز باشد. به عنوان مثال ، یک کاربر ممکن است یک حلقه پخت و پز را به عنوان “علاقه مند” به دلیل یک ماده خاص ، خالق یا زیبایی شناسی ، به جای عدم تمایل به پخت و پز به طور کلی ، علامت گذاری کند. برای حل این مسئله ، ما یک چارچوب پردازش سیگنال ایجاد کردیم که بازخورد صریح را با نشانه های ضمنی مانند زمان ساکن ، اشتراک و یا تکرار نماهای ترکیب می کند. با گذشت زمان ، سیستم این سیگنال ها را برای ایجاد درک ظریف از ترجیحات کاربر جمع می کند ، و توضیح می دهد که آیا این رد از متن خاص یا طبقه بندی شده است. بهترین شیوه های صنعت ، مانند مدل سازی گروه و بازآموزی تکراری ، این روند را با اولویت بندی سیگنال های اعتماد به نفس بالا و کاهش تأثیر بازخورد متناقض تقویت می کند. این رویکرد تضمین می کند که سیستم توصیه به صورت پویا سازگار می شود ، و محتوایی را که با سلیقه های در حال تحول کاربران هماهنگ است ، ضمن به حداقل رساندن پیشنهادات بی ربط ، ارائه می دهد.
چگونه تصمیم می گیرید که کدام روش AI/ML برای نیاز به محصول خاص مناسب است؟ چه چیزی بین استفاده از LLMS ، مدل های کلاسیک یا حتی جلوگیری از هوش مصنوعی به طور کلی انتخاب می کند؟
در چشم انداز امروز ، اجتناب از هوش مصنوعی اغلب گزینه ای نیست – پتانسیل تحول آن بسیار قابل توجه است. انتخاب بین LLMS ، مدل های کلاسیک و رویکردهای ترکیبی بستگی به اهداف محصول و پیچیدگی مشکل دارد. LLMS به دلیل توانایی آنها در مدل سازی الگوهای پیچیده در مقیاس ، در کارهایی که نیاز به درک متنی دارند ، مانند تولید محتوای شخصی یا تفسیر بازخورد ظریف ، برتری دارند. پیشرفت های اخیر در معماری های ترانسفورماتور و قابلیت های چند حالته ، LLM ها را حتی برای سیستم عامل های اجتماعی قانع کننده تر کرده است و باعث می شود تجربیات غنی تر و بصری تر باشد. مدل های کلاسیک ، مانند درختان تقویت شده شیب یا فیلتر مشترک ، برای کارهای ساختاری به خوبی تعریف شده و در جایی که سرعت و تفسیر ضروری است ، ارزشمند هستند. این تصمیم به تعادل عملکرد ، مقیاس پذیری و تأثیر کاربر بستگی دارد – ارزیابی اینکه آیا مزایای LLM هزینه محاسباتی آن را توجیه می کند. در نهایت ، این در مورد انتخاب ابزاری است که ضمن هماهنگی با دید بلند مدت محصول ، رضایت کاربر را به حداکثر می رساند.
شما در AI4 و کنفرانس های دیگر صحبت کرده اید. چه روندهایی را می بینید که آینده سیستم های توصیه و محصولات هوش مصنوعی را در طی 2-3 سال آینده شکل می دهد؟
مکالمات در کنفرانس هایی مانند AI4 یک هدف مشترک را برجسته می کند: استفاده از هوش مصنوعی برای ارائه ارزش بی سابقه به کاربران. در طی 2-3 سال آینده ، سیستم های توصیه به سمت تجربیات بسیار شخصی و آگاه از زمینه ای که توسط LLM های چند مدلی که متن ، تصاویر و حتی صدا را برای درک هدف کاربر ادغام می کنند ، تکامل می یابند. ما سیستم هایی را مشاهده خواهیم کرد که نیازها را پیش بینی می کنند ، اقدامات-مانند پیوستن به یک گروه یا حضور در یک رویداد-را بر اساس سیگنال های رفتاری و اجتماعی در زمان واقعی توصیه می کنند. یک روند مهم دموکراتیک سازی ابزارهای ایجاد هوش مصنوعی است که به کاربران غیر فنی امکان می دهد سیستم های توصیه های سفارشی را با استفاده از سیستم عامل های بدون کد بسازند. علاوه بر این ، پیشرفت در یادگیری فدرال و حفظ حریم خصوصی هوش مصنوعی اطمینان می دهد که شخصی سازی به هزینه اعتماد کاربر انجام نمی شود. این نوآوری ها چگونگی اتصال سیستم عامل ها را با مردم تعریف می کند ، و باعث می شود هر تعامل منحصر به فرد و از نظر فرهنگی طنین انداز شود ، در حالی که پتانسیل همکاری بشر و آه را گسترش می دهد.
در سطح شخصی ، چه چیزی شما را در مورد کار بر روی محصولات AI هیجان زده می کند: خود فناوری ، رفتار کاربر یا مقیاس تأثیر؟
آنچه بیشتر من را هیجان زده می کند ، تأثیر عظیمی از AI وعده های بشریت است. این فناوری به عنوان یک اکولایزر عالی عمل می کند و موانع کارآفرینان و سازندگان را در سطح جهان کاهش می دهد. آینده ای را تصور کنید که یک نوجوان با یک ایده جسورانه بتواند بدون نیاز به کدگذاری ، یک برنامه فرهنگی تأثیرگذار بسازد. یا جایی که اکتشافات AI محور-که به طور بالقوه حتی درمانی برای سرطان است-از سیستمهایی که دلیل فراتر از محدودیت های انسان است ، بیرون می آیند. در حالی که این فناوری به خودی خود هیجان انگیز است ، این امکان وجود دارد که میلیارد ها دلار-از بچه های خلاق گرفته تا مبتکران غیر فنی-توانمندسازی شود که واقعاً اشتیاق من را به وجود می آورد. هوش مصنوعی تنظیم شده است تا چگونگی حل مشکلات ، ایجاد ارزش و اتصال به عنوان یک جامعه را تعریف کند. بخشی از این دوره تحول آمیز هم فروتنانه و هم هیجان انگیز است.