چگونه می توانید یک روش جدید یادگیری ماشین را توسعه داده و آن را با موفقیت در بزرگترین بستر خرید اروپا پیاده سازی کنید؟ مارییا بولیچوا ، مهندس یادگیری ماشین در زالندو ، چگونه به اشتراک می گذارد شبکه های عصبی نمودار (GNN) به ساختار داده های کاربر و محتوا ، تقویت توصیه های شخصی و افزایش تعامل کاربر کمک کرد. این رویکرد به طور قابل توجهی پیش بینی کلیک را بهبود بخشید و محتوای الهام بخش تر را که فراتر از ترجیحات خرید معمولی است ، فعال کند.
مارییا ، در مورد حرفه خود برای ما بگویید. آیا تجربه قبلی در اجرای شبکه های عصبی نمودار (GNN) در تجارت داشتید؟
کار من پس از فارغ التحصیلی از دانشکده مکانیک و ریاضیات در دانشگاه ایالتی مسکو در امور مالی آغاز شد. من به عنوان یک تحلیلگر در JP Morgan و Morgan Stanley کار کردم اما بعداً تصمیم گرفتم زمینه ها را تغییر دهم. اولین تجربه فنی من در یک استارتاپ بود که یک بازوی رباتیک برای مرتب سازی اشیاء ایجاد می کرد. من در دیدگاه رایانه ، آموزش شبکه های عصبی برای تشخیص اشیاء ، تعیین روش های بهینه برای درک آنها و پردازش داده های دوربین کار کردم. با وجود منابع محدود استارتاپ ، من تجربه بسیار ارزشمندی را کسب کردم که همه چیز را از جمع آوری داده ها گرفته تا ادغام مدل ها در نرم افزار پوشش می دهد.
پس از آن ، من به زلاندو پیوستم ، جایی که مقیاس متفاوتی از کار را تجربه کردم: فرآیندهای ساختاری ، خطوط لوله به خوبی سازمان یافته و فرصتی برای تمرکز بر توسعه و تحقیقات مدل. در Zalando ، من در ابتدا روی پروژه های پیش بینی تقاضا و فروش قبل از انتقال به تیم توصیه کار کردم. این جایی است که ایده استفاده از شبکه های عصبی نمودار برای اولین بار پدیدار شد و من آنها را برای اولین بار پیاده سازی کردم.
چگونه ایده استفاده از این مدل برای پیش بینی کلیک در صفحه اصلی Zalando به وجود آمد؟ چه مشکلی را برای حل کردن داشتید؟
ابتکار عمل برای اجرای GNNS مال من بود. من تیمی متشکل از یک مهندس داده و دو متخصص یادگیری ماشین را هدایت کردم و با هم این ایده را به زندگی آوردیم.
به طور سنتی ، Prediction به داده های جدولی متکی است: اطلاعات کاربر (جمعیتی ، زمان و مکان ورود به سیستم) ، جزئیات محتوا (به عنوان مثال یک فیلم با کفش) و یک برچسب نشان می دهد که آیا کاربر کلیک کرده است یا خیر. این مدل تعامل بین کاربر و محتوا را می آموزد ، اما این رویکرد محدودیت هایی دارد. یک مدل نمودار امکان ساخت داده های مختلف را فراهم می کند. ما کاربران را به عنوان گره های نمودار معرفی می کنیم ، با تعامل – مانند کلیک یا نمایش – به عنوان لبه ها عمل می کنیم. محتوا همچنین به یک گره تبدیل می شود و کاربران مختلف را به هم وصل می کند. این یک ساختار سه بعدی ایجاد می کند که روابط نامرئی در داده های جدولی سنتی را نشان می دهد. به عنوان مثال ، اگر دو کاربر یک فیلم را تماشا کنند ، نمودار به وضوح ارتباط آنها را نشان می دهد.
علاوه بر این ، یک ساختار نمودار به ما امکان اضافه کردن اطلاعات اضافی را می دهد. اگر کاربر یک مارک را دوست دارد ، این به طور خودکار تمام مقالات مرتبط را پیوند می دهد و یک جریان اطلاعات را از طریق گره ها ایجاد می کند. در داده های جدولی ، شناسایی چنین روابطی بسیار سخت تر است. مدل های نمودار یادگیری را با ارائه بلافاصله اتصالات صریح بین کاربران و محتوا ، تسریع در تشخیص الگوی را تسهیل می کنند.
داده های جدولی در درجه اول بر پیش بینی رفتار مبتنی بر خریدهای گذشته یا نماها متمرکز بودند. با این حال ، این رویکرد محدود بود زیرا تنوع محتوا و علایق کاربر بلند مدت را به خود اختصاص نمی داد. GNN ها امکان مدل سازی تعامل انعطاف پذیر را فراهم می کنند و وزن های مختلفی را به انواع یا اولویت های مختلف محتوا اختصاص می دهند. به عنوان مثال ، اگر می خواهیم کاربران بیشتر با آن درگیر شوند ، می توانیم تأثیر محتوای ویدیویی را تقویت کنیم.
علاوه بر این ، نمودارها به مدیریت تنوع توصیه کمک می کنند ، و به کاربران نشان می دهد نه تنها موارد آشنا بلکه گسترش افق آنها.
همه اینها بسیار مهم است زیرا زالاندو در حال تغییر استراتژی خود برای تبدیل شدن به نه تنها یک پلت فرم تجارت الکترونیکی بلکه یک مرکز الهام بخش است که در آن کاربران سبک زندگی و محتوای مد را کشف می کنند. این به نوبه خود ، زمان صرف شده در سکو را افزایش می دهد.
چگونه نتایج کسب و کار اجرای GNN ها ارزیابی شد؟ چه فواید مالی و استراتژیک این مدل را برای شرکت به ارمغان آورد؟
یکپارچه سازی کامل GNN به تغییرات زیرساختی قابل توجهی نیاز دارد و این روند هنوز در حال انجام است. در حال حاضر ، از GNN برای تولید تعبیه شده استفاده می شود – نمایش های غیرقانونی کاربران و محتوا. این تعبیه ها در مدل توصیه های موجود ادغام شده اند ، که پیش بینی کلیک را بهبود بخشیده و محتوا را برای کاربران مرتبط تر کرده است.
در طول توسعه ، GNN ها افزایش 0.6 درصد در متریک ROC-AUC را نشان دادند ، که توانایی مدل در تمایز بین محتوایی را که کاربر بر روی آن کلیک می کند و محتوای آنها را اندازه گیری می کند. در حالی که ممکن است 0.6 درصد امتیاز در سیستم های توصیه در مقیاس بزرگ کوچک به نظر برسد ، هر کسری از درصد شخصی سازی را برای میلیون ها کاربر بهبود می بخشد. این بهبود به این معنی است که مدل نسبت به الگوهای رفتاری ظریف کاربر حساس تر است ، و به طور مستقیم معیارهای نامزدی مانند نرخ کلیک و حفظ کاربر را تقویت می کند.
فراتر از بهبود دقت ، GNN ها کنترل متریک استراتژیک را فعال می کنند. به عنوان مثال ، این مدل به تنظیم قرار گرفتن در معرض محتوای ویدیویی ، افزایش تنوع توصیه و جذاب تر کردن محتوا کمک می کند. ما می توانیم وزنهای مختلفی را به روابط اختصاص دهیم – به عنوان مثال ، تقویت تعامل با محتوای ویدیویی یا تأکید بر عناصری که دیدگاه کاربران را گسترش می دهد. این انعطاف پذیری برای استراتژی جدید زالاندو ، که به شدت در ایجاد محتوا و مدلهایی که کاربران را فراتر از ترجیحات معمولی خود هدایت می کند ، بسیار مهم است.
GNN همچنین مزایای قابل توجهی در کار با کاربران شروع سرد-آنهایی که بدون داده های تعامل تاریخی وجود دارد ، نشان داد. این کاربران غالباً برای مدل های توصیه کلاسیک ، که برای پیش بینی ترجیحات خود تلاش می کنند ، چالش هایی را ایجاد می کنند. با این حال ، با استفاده از روابط بین کاربران ، محصولات و محتوا ، GNN ها شکاف دقت را برای کاربران شروع سرما به طور متوسط 2 درصد امتیاز کاهش داده و باعث بهبود شخصی سازی در مراحل اولیه می شوند. این امر برای سوار شدن و حفظ مشتریان جدید بسیار مهم است ، در نهایت افزایش کاربران فعال روزانه زالاندو.
علاوه بر این ، استفاده از GNN در سیستم های توصیه Zalando به طور قابل توجهی تلاش های مهندسی ویژگی های دستی را کاهش می دهد. از آنجا که GNN ها به طور خودکار وابستگی های پیچیده ای را از داده ها استخراج می کنند ، نیاز به طراحی دستی و آزمایش ویژگی های بیشمار به میزان قابل توجهی کاهش یافته است. در نتیجه ، چرخه های توسعه ویژگی 40 ٪ شتاب می گیرند و به تیم این امکان را می دهد تا روی سایر پیشرفت های مدل تمرکز کند.
سازگاری و استقرار مدل ها در سیستم عامل های مختلف مانند برنامه های وب و تلفن همراه چقدر چالش برانگیز بود؟
چندین چالش مهم بوجود آمد. اول ، تهیه داده ها: سیاهههای استاندارد کاربر ، به طور معمول در قالب های جدولی (JSON یا پارکت) ، باید به یک ساختار نمودار تبدیل شوند. این امر نیاز به ایجاد یک خط لوله اختصاصی برای تبدیل داده ها به قالب نمودار دارد ، فرایندی که حدود یک ماه طول کشید تا توسعه و پالایش شود.
دوم ، به روزرسانی داده ها در یک نمودار پیچیده تر از یک مدل جدولی است. در سیستم های سنتی ، داده های جدید به سادگی می توانند ضمیمه شوند ، در حالی که نمودارها نیاز به محاسبه روابط و اضافه کردن گره ها و لبه های جدید دارند. به عنوان مثال ، هنگامی که یک کاربر یا تعامل جدید ظاهر می شود ، ما باید به طور مؤثر تعیین کنیم که کدام قسمت از نمودار نیاز به بروزرسانی دارد. این فرآیند سریع است اما در مقایسه با سوابق ضمیمه در یک جدول ، یک روش مهندسی متفاوت را می طلبد.
سوم ، آموزش مدل چالش هایی را نشان می دهد. در GNN ، دسته بندی (تقسیم داده ها به بلوک برای آموزش) متفاوت از مدل های جدولی است. برای جلوگیری از از بین رفتن روابط گره ، منابع محاسباتی اضافی و منطق پیشرفته مورد نیاز است.
با این حال ، با وجود همه این چالش ها ، قابلیت های محاسباتی و پیش بینی شده شبکه های عصبی نمودار (GNN) چنان قدرتمند هستند که آنها می توانند آموزش “نمودار جهانی زالاندو” را فراهم کنند ، که شامل کل تاریخ تعامل مشتری در صفحه اصلی و صفحات بالقوه دیگر (به عنوان مثال کاتالوگ) است. این نمودار نه تنها الگوهای رفتاری کاربر را می آموزد بلکه روندهای تاریخی جهانی را نیز مشخص می کند و وابستگی های پیچیده ای بین کاربران ، محتوا و زمان را ضبط می کند. یک مدل یادگیری عمیق کلاسیک برای دستیابی به سطح مشابهی از تجزیه و تحلیل به منابع محاسباتی و زمان قابل توجهی نیاز دارد. GNN ها به لطف معماری و قابلیت محاسبه موازی ، می توانند در همان مجموعه داده های 7-10 برابر سریعتر آموزش ببینند در حالی که به طور مؤثر تعامل قدیمی تر از موارد جدید را تشخیص می دهند. پس از آموزش نمودار جهانی ، می توان آن را به سرعت با داده های جدید به روز کرد و اطمینان حاصل کرد که این مدل بدون نیاز به بازآموزی از ابتدا مرتبط است.
در تنظیمات توصیه های کلاسیک ، البته آموزش افزایشی با داده های جدید وجود دارد. با این حال ، بازآموزی کامل مدل از ابتدا به طور مرتب اتفاق می افتد ، که هزینه های محاسباتی را چندین بار افزایش می دهد. این توانایی در ترکیب یادگیری تاریخی جهانی با به روزرسانی های افزایشی ، GNN ها را به ابزاری قدرتمند و مقیاس پذیر برای سیستم های توصیه پویا در مقیاس بزرگ تبدیل می کند.
در مورد سیستم فعلی ما ، روزانه به روز می شود ، که متناسب با اجرای فعلی که در آن تعبیه شده به عنوان ویژگی در یک مدل دیگر استفاده می شود. انتقال کل سیستم به نمودار شبکه های عصبی برای اطمینان از پردازش سریع و کارآمد داده ها در تمام سیستم عامل ها به بهینه سازی بیشتر فرآیند نیاز دارد. با این حال ، صرفه جویی نهایی در هزینه های محاسباتی ، این تلاش ها را به طور کامل توجیه می کند و روند انتقال در حال انجام است.
برای کار موفقیت آمیز در این پروژه ، چه مهارت یا دانش دیگری برای دستیابی به آن نیاز دارید؟
اول ، دوره “شبکه های عصبی نمودار” استنفورد را که بسیار مفید بود ، به پایان رساندم. پس از آن ، من كتابخانه های اصلی – كتابخانه هندسی و نمودار عمیق (DGL) را مورد بررسی قرار دادم – تا مشخص كنیم كه كدام یك از آنها راحت تر بود. هرکدام مزایای خاص خود را داشتند. به عنوان مثال ، DGL اجرای سطح پایین تری دارد و برای درک عمیق تر از عملکرد داخلی شبکه های عصبی نمودار عالی است. با این حال ، همانطور که پیشرفت کردم ، فهمیدم که هندسی Pytorch یک رابط کاربر پسند تر ارائه می دهد ، ادغام و کار بعدی را برای سایر تیم ها آسان تر می کند.
یکی دیگر از مهارتهای مهم یادگیری نحوه تقسیم صحیح نمودار برای آموزش ، اعتبار سنجی و تست مدل نهایی بود. این امر برای جلوگیری از نشت اطلاعات ضروری است. اگر نمودار به طور نادرست تقسیم شود ، اطلاعات موجود در مجموعه آزمون ممکن است به مجموعه آموزش نشت کند و منجر به نتایج بیش از حد خوش بینانه شود. برای حفظ تعادل بین آموزش و آزمایش اطلاعات ، پارتیشن بندی دقیق لازم است.
مراحل بعدی در تهیه مدل چیست؟ آیا برنامه های بالقوه فراتر از صفحه اصلی را می بینید؟
برای پیشبرد مدل ، ما قصد داریم به طور کامل به آموزش های مبتنی بر گراف منتقل شویم ، که به ما امکان می دهد معیارهایی مانند تازگی و تنوع را بهتر مدیریت کنیم.
فراتر از صفحه اصلی ، این مدل دارای کاربردهای بالقوه در زمینه های دیگر مانند کاتالوگ محصول است. در حال حاضر ، یک تیم جداگانه در حال کار بر روی تهیه الگویی برای این بخش است ، اما هدف ما این است که همه چیز را در یک نمودار جهانی Zalando یکپارچه ادغام کنیم. در چنین ساختاری ، ما می توانیم تمام داده های تعامل کاربر و سایت را جمع کنیم و یک سیستم قدرتمند ایجاد کنیم که بتواند بر اساس کل مجموعه داده های تاریخی ، پردازش و پیش بینی رفتار را پیش بینی کند. این امر می تواند ارزیابی دقیق تر مربوط به محتوای محتوای و به روزرسانی های خودکار داده ها ، مانند علامت گذاری عناصر منسوخ یا حذف آنها از مدل را فراهم کند.
سرانجام ، مارییا ، آینده فن آوری های تبلیغاتی شخصی را در سالهای آینده چگونه می بینید؟ چه رویکردها و ابزارهای جدید می توانند اثربخشی آن را تقویت کنند؟
فن آوری های تبلیغاتی شخصی به لطف AI تولیدی ، در سالهای آینده به طور قابل توجهی تکامل می یابد ، که باعث ایجاد محتوای منحصر به فرد متناسب با هر کاربر می شود. به جای انتخاب از یک استخر از پیش تعریف شده از توصیه ها ، ما فیلم ها و محتوایی شخصی سازی شده را تولید خواهیم کرد که با ترجیحات کاربر شخصی هماهنگ است. به عنوان مثال ، چکمه های جک Wolfskin ممکن است برای یک کاربر ، با یک مکان شهری برای دیگری و با خانواده و فرزندان برای شخص دیگری با کوهستان همراه باشد. AI تولیدی فرصت هایی را برای شخصی سازی عمیق تر باز می کند ، و مطالب را ایجاد می کند که واقعاً با کاربران طنین انداز است.
به عنوان مثال ، در تیم من ، مدیریت به جای کسب درآمد مستقیم ، زمان تعامل با محتوا را در اولویت قرار می دهد. فرض این است که افزایش درگیری کاربر در نهایت احتمال خرید را افزایش می دهد. ایده اصلی این است که نحوه ارائه یک محصول به طور مستقیم بر تصمیمات خرید تأثیر می گذارد. هوش مصنوعی تولید نه تنها باعث ایجاد محتوای بصری جذاب می شود بلکه تضمین می کند که به اندازه کافی الهام بخش است تا تمایل کاربر را برای خرید ایجاد کند.