نویسنده (ها): نیکیلش پندی
در ابتدا منتشر شده در به سمت هوش مصنوعیبشر
زمینه
با گذراندن تقریباً یک دهه در ساخت و بهینه سازی سیستم های تبلیغاتی در متا ، دست اول را دیدم که چگونه اکوسیستم تبلیغاتی آنلاین تکامل یافته است-از استراتژی های اساسی مبتنی بر تصور گرفته تا سیستم عامل های پیچیده و بهینه سازی شده امروز. با ترسیم از این تجربه ، اجازه دهید نحوه عملکرد سیستم های رتبه بندی تبلیغاتی مدرن را باز کنیم و چرا آنها در موفقیت تبلیغات دیجیتال مهم هستند.
سیستم عامل های تبلیغاتی آنلاین در خدمت اهداف مختلفی از جمله آگاهی از برند ، تبلیغات ، تبدیل و بازپرداخت هستند. موفقیت یک کمپین تبلیغاتی با استفاده از معیارهای مختلف ، مانند برداشت های تبلیغاتی ، کلیک های تبلیغاتی و تبدیل – اندازه گیری می شود – بسته به هدف کمپین ، به ترتیب افزایش اهمیت رتبه بندی می شود. به همین ترتیب ، از مدل های مختلف قیمت گذاری استفاده می شود ، از جمله CPM (هزینه در هر میل) ، CPC (هزینه در هر کلیک) و CPA (هزینه برای هر خرید) ، هر یک با اهداف تبلیغ کننده خاص تراز می شوند.
سیستم عامل های تبلیغاتی تجارت الکترونیکی مانند Doordash و Airbnb تبدیل ها را بر روی برداشت ها یا کلیک ها در اولویت قرار می دهند و هزینه هر خرید (CPA) را به یک مدل قیمت گذاری بسیار مؤثر تبدیل می کنند. بر خلاف CPC (هزینه برای هر کلیک) یا CPM (هزینه برای هر میل) ، CPA اطمینان می دهد که تبلیغ کنندگان فقط در صورت تکمیل یک اقدام مورد نظر – مانند خرید ، ثبت نام یا اشتراک – پرداخت می کنند.
این باعث می شود پیش بینی نرخ تبدیل پس از دید (CVR) سنگ بنای حراج های تبلیغاتی در زمان واقعی باشد. پیش بینی های دقیق CVR برای رتبه بندی تبلیغات با کیفیت بالا ، بهینه سازی بهره وری حراج و حفظ یک بازار منصفانه که هم از تبلیغ کنندگان و هم برای مصرف کنندگان سود می برد ، ضروری است. یک مدل CVR بهینه سازی شده ، سیستم عامل ها را قادر می سازد تا از اهمیت تبلیغاتی ، بهبود تجربه کاربر و افزایش کارآیی کلی اکوسیستم AD استفاده کنند.
چرا مدل های مبتنی بر درخت دیگر کافی نیستند؟
سیستم های رتبه بندی آگهی برای سیستم عامل های تبلیغاتی بزرگ فراتر از رویکردهای میراث مانند عملکردهای امتیاز دهی دستی تکامل یافته اند. در سالهای اخیر ، مدل های مبتنی بر درخت ، به ویژه شیب تقویت شده درختان تصمیم گیری (GBDT) ، به دلیل کارآیی آنها در رسیدگی به داده های در مقیاس بزرگ ، با ابعاد بالا و ناهمگن به طور گسترده ای پذیرفته شده است. این مدل ها سود عملکرد قابل توجهی را به دست آوردند و یکی از مهمترین پیشرفت ها در رتبه بندی AD را نشان می دهد. با این حال ، تأثیر آنها سرانجام به هم زد و محدودیت های ذاتی در ضبط پیچیدگی و تنوع تعامل مصرف کننده را نشان داد.
در نتیجه ، پیشرفت های بیشتر در رتبه بندی تبلیغات الکترونیکی نیاز به تغییر فراتر از مدل های مبتنی بر درخت دارد و باعث می شود مشاغل بتوانند تعمیرات کاملی از سیستم های رتبه بندی تبلیغات خود را انجام دهند. شرکت هایی مانند Google Play ، Airbnb و Doordash شروع به کاوش در شبکه های عصبی به عنوان مرز بعدی کردند. تحقیقات و آزمایش گسترده شبکه های عصبی عمیق (DNN) را به عنوان انتخاب برتر به دلیل قابلیت های پیشرفته یادگیری بازنمایی نشان داد. DNNS در پردازش داده های در مقیاس بزرگ ، ناهمگن ، از جمله روند زمانی ، سیگنال های متنی و ورودی های چند مدلی مانند متن ، تصاویر و نمودارها ، برتری دارد. علاوه بر این ، آنها فرصت های جدیدی را برای به اشتراک گذاری دانش متقابل از طریق یادگیری انتقال باز می کنند و مدل سازی رفتارهای جامع کاربر را از طریق یادگیری چند کاره (MTL) فعال می کنند.
با این حال ، انتقال به یادگیری عمیق نمی تواند در یک تغییر ناگهانی و ناگهانی اتفاق بیفتد. برای سیستم های در مقیاس بزرگ که سیگنال های آنلاین را جمع آوری و پردازش می کنند ، بسیار بیشتر از تغییر در معماری مدل است. در عوض ، این تکامل از طریق مجموعه ای از پیشرفت های تکراری آشکار می شود که هر یک با چالش های جدید مقابله می کنند و فرصت های نوآوری را نشان می دهند. این امر به یک تحول جامع نیاز دارد ، هر دو فرآیند آفلاین و آنلاین را از طریق آزمایش مداوم و بهینه سازی پالایش می کند.
باقیمانده این مقاله به بررسی رویکرد ، چالش ها و راه حل های سطح بالا در این تحول ، با استفاده از “تبلیغات خوراک خانگی Doordash” به عنوان یک مطالعه موردی می پردازد.
انتقال: اعدام و چالش ها
مرحله 1: تعیین پایه
پایه و اساس هر بستر تبلیغات آنلاین به دو مؤلفه مهم متکی است:
- سرویس آموزش مدل – یک فرآیند آفلاین که از پیش بینی های تاریخی و سیاهههای مربوط به تعامل برای آموزش مصنوعات مدل استفاده می کند.
- سرویس تبادل آگهی -یک سیستم آنلاین که از ابرداده درخواست می کند و آثار باستانی مدل آموزش دیده برای رتبه بندی تبلیغات برای حراج های زمان واقعی.
علاوه بر این ، مکانیسم های ورود به سیستم قوی برای گرفتن داده های با کیفیت بالا برای آموزش مدل مداوم ضروری هستند. مدل های مهاجرت در همه این مناطق چالش هایی را ایجاد می کند و ایجاد یک پایه قوی قبل از انتقال به یک سیستم جدید بسیار مهم است.
برای یک مهاجرت موفق ، راه حل جدید باید معیارهای کلیدی عملکرد زیر را رعایت کند:
- کیفیت مدل – مدل پیش بینی تازه آموزش دیده باید حداقل و همچنین ، اگر بهتر از مدل موجود باشد ، عمل کند.
- عملکرد سیستم – زمان پاسخگویی پرس و جو آنلاین باید با سیستم فعلی بهبود یابد یا برابری را حفظ کند و از رگرسیون قابل توجهی که می تواند بر ارزش تجارت تأثیر بگذارد ، اطمینان حاصل کند.
- هزینه سیستم – هزینه های ظرفیت اضافی سیستم جدید باید با تأثیر کلی تجارت و بهبود عملکرد آن توجیه شود.
یک پایه خوب تعریف شده تضمین می کند که انتقال داده محور است و ضمن به حداکثر رساندن ارزش تجاری ، خطرات را به حداقل می رساند.
مرحله 2: آموزش و ارزیابی مدل
با توجه به اینکه در توزیع ویژگی های ورودی ، لایه های عادی سازی به عنوان یک مرحله قبل از پردازش قبل از تغذیه داده ها به شبکه عصبی اولیه ، نقش مهمی دارند. برای بهینه سازی استفاده از منابع ، این وظایف پیش پردازش می توانند در استخرهای CPU با مقرون به صرفه بارگیری شوند. GPU منابع برای عملیات محاسباتی فشرده تر مانند ضرب ماتریس محفوظ هستند.
دستیابی به توان آموزش بالا نیاز به توزیع بار کار استراتژیک بین CPU ها و GPU ها دارد و از موازی سازی کارآمد در کل خط لوله اطمینان می یابد. جریان داده های خوب طراحی شده و تخصیص منابع به به حداقل رساندن تنگناها ، به حداکثر رساندن راندمان سخت افزار و تسریع در آموزش مدل کمک می کند.
- پیش پردازش: Doordash چارچوب توزیع شده Pytorch را به صورت موازی داده (DDP) توزیع کرد ، که در آن لودرهای داده موازی و کارگران محاسبات را در سطوح مختلف پیچیدگی انجام می دادند-عملیات ساده تر (به عنوان مثال ، میانگین محاسبه) توسط لودرهای داده انجام می شد ، در حالی که تحولات پیچیده تر توسط کارگران اختصاصی پردازش می شدند. داده های از پیش پردازش شده به طور غیر همزمان برای استفاده مجدد بعدی در آموزش مدل ذخیره شد و محاسبه اضافی را کاهش داد.
- آموزش مدل: Doordash پارادایم واحد ، چند داده (SPMD) را برای موازی سازی اتخاذ کرد GPU اجرای در کل کارهای آموزشی. این چارچوب ، ساخته شده بر روی مشعل ، برای به حداکثر رساندن همپوشانی بین محاسبات و ارتباطات ، اطمینان از استفاده کارآمد از منابع GPU طراحی شده است.
این تجزیه ساختاری از پیش پردازش و آموزش مدل با به حداقل رساندن زمان بیکار GPU و به حداکثر رساندن کارآیی سخت افزار ، توان را به طور قابل توجهی بهبود بخشید.
بهینه سازی های اضافی: فراتر از آموزش مدل ، استراتژی های مشابه با بهره وری محور اجرا شد:
- ارزیابی مدل آفلاین را افزایش دهید، ایجاد یک حلقه بازخورد برای پالایش مداوم خط لوله آموزش.
- اطمینان از تراز بین آموزش مدل AD و سرویس AD، ایجاد شکاف بین آموزش آفلاین و استنباط در زمان واقعی برای عملکرد بهینه AD.
Doordash از ناحیه زیر منحنی (AUC) و صلیب باینری نرمال استفاده کرد آنتروپی (قبل از میلاد) به عنوان معیارهای اصلی برای ارزیابی عملکرد مدل.
مرحله 3: مراحل تکامل مدل
3.1 فرزندخواندگی یادگیری عمیق مدل های توصیه
اجرای آزمایش های آنلاین A/B با مقایسه مدل های مبتنی بر درخت با مدلهای مبتنی بر شبکه عصبی نتایج مثبت روشنی را به همراه داشت و پایه و اساس محکمی برای برنامه مهاجرت فراهم می کند. مرحله طبیعی بعدی کشف طرح های معماری خاص DNN و فرصت های مهندسی با استفاده از ورود به سیستم Doordash Ads بود داده های آموزش برای پیشرفت بیشتر.
در حالی که استراتژی کلی برای افزودن ویژگی های پراکنده در ابتدا دستاوردهای حاشیه ای را نشان می داد ، مقیاس بندی ویژگی را با چالش هایی از قبیل افزایش بیش از حد مدل ، در نهایت گسترش شکاف بین عملکرد آفلاین و آنلاین ایجاد کرد. این امر نیاز به تجزیه و تحلیل عمیق تر و اشکال زدایی سیستماتیک را برای باز کردن بهبود مدل های اضافی برجسته کرد.
3.2 شخصی سازی عمیق
برای Doordash ، دو الگوی رفتاری کلیدی کاربر پدیدار شد: (الف) تمایل بالایی برای خریدهای مکرر و (ب) عدم تمایل به کشف گزینه های جدید. علاوه بر این ، عوامل خارجی-به ویژه زمان سفارش-نقش مهمی در تصمیم گیری کاربر داشتند.
برای پرداختن به این بینش ها ، ویژگی های جدید برای ضبط سیگنال هایی مانند روز (روز روز) ، ترجیحات کاربر برای فروشگاه ها و ظروف و حساسیت کلی قیمت ساخته شده است. تعبیه های از قبل آموزش دیده نیز برای کاهش چالش های شروع سرما و داده های کمتری معرفی شد.
به طور کلی ، این پیشرفت ها به بهبود تقریبی 2.8 ٪ در نرخ تبدیل (CVR) کمک کرده است.
3.3 بستن حلقه: پل زدن شکاف AUC بین آموزش آفلاین و سرویس آنلاین
پس از تمام پیشرفت ها ، شکاف 4.3 ٪ در AUC بین ارزیابی مدل آفلاین و عملکرد آنلاین زنده باقی مانده است. فرضیه اولیه به سن داده های آموزش، که تقریباً سه ماه از زمان آغاز آزمایش آنلاین بود. با این حال ، تجزیه و تحلیل بیشتر نشان داد که توزیع داده ها با گذشت زمان پایدار مانده اند و این توضیحات را رد می کنند.
تحقیقات عمیق تر مشخص کرد که اختلافات بین ویژگی های ورود به سیستم آنلاین و ویژگی های آفلاین ، تقریباً در کل شکاف AUC 4.3 ٪ (اندازه گیری شده در 4.25 ٪) مسئول بوده و این موضوع را به عنوان مسئله اصلی تعیین می کند. این اختلافات به طور معمول ناشی از تأخیر در داده های ویژگی یا از مقادیر ذخیره شده بی سیم (“باقیمانده های ذخیره شده”) است.
برای پرداختن به ویژگی های مفقود شده ، Doordash به ویندوز مخصوص ویژگی های ویژه پیاده سازی شده است تا بتواند تاخیر در ویژگی های شناخته شده بهتر را در خود جای دهد. در حالی که این راه حل تا حدی مشکل باقیمانده های ذخیره شده را کاهش می داد ، برای تراز کامل کافی نبود.
برای پرداختن به طور کامل به مسئله ذخیره سازی باقیمانده ، این تیم امکان ورود آنلاین را برای ویژگی هایی که مستعد ابتلا به ناسازگاری هستند ، امکان پذیر کرد. با این حال ، ورود به سیستم آنلاین معاملات جدید را به وجود آورد ، به ویژه افزایش تقاضا برای منابع مهم سیستم. برنامه ریزی دقیق و بهینه سازی های هدفمند – مانند ارتقاء زیرساخت ها و موازی سازی فرآیندهای کلیدی مانند مناقصه و پیش بینی CVR – به به حداقل رساندن سربار کمک کرد.
حتی با این تلاش ها ، هنوز 10 ٪ افزایش بار در سرویس پیش بینی وجود دارد. با این وجود ، کسب و کار از بهبود کیفیت رتبه بندی تبلیغات و کاهش زمان متوسط تاخیر در نهایت هزینه اضافی را توجیه می کند.
پایان
شبکه های عصبی عمیق (DNN) به عنوان یک جایگزین برتر برای مدل های سنتی مبتنی بر درخت در چشم انداز در حال تحول رتبه بندی تبلیغات الکترونیکی در حال ظهور هستند. از طریق مطالعه موردی از تبلیغات Doordash ، ما دیدیم که چگونه DNNS نمایندگی ویژگی های ثروتمندتر ، شخصی سازی عمیق تر و معماری های آموزش مقیاس پذیر را فعال می کند. مهاجرت نه تنها دقت مدل و CVR را بهبود بخشید ، بلکه نشان داد که با زیرساخت مناسب و بهینه سازی ، DNN ها می توانند ارزش تجاری ملموس را ارائه دهند. به همین ترتیب ، آنها به عنوان یک بنیاد قوی برای نسل بعدی سیستم های رتبه بندی AD متمایز می شوند.
منابع
منتشر شده از طریق به سمت هوش مصنوعی
