ترانسفورماتور رگرسیون خودکار انتشار برای پیش‌بینی سری‌های زمانی اثربخش با نظارت خود

نویسنده(های): رضا یزدانفر

در ابتدا منتشر شد به سمت هوش مصنوعی.

سری زمانی به دلیل توانایی آن در ارائه پیش‌بینی‌های دقیق از نقاط داده آینده، که به نوبه خود منجر به تصمیم‌گیری، تخصیص منابع و مدیریت ریسک بهتر می‌شود، در حوزه‌های مختلف اهمیت دارد (اگرچه کمتر مورد توجه قرار می‌گیرد). این قابلیت منجر به بهبودهای عملیاتی قابل توجه و مزایای استراتژیک، به ویژه در زمینه هایی مانند مالی، مراقبت های بهداشتی و مدیریت انرژی می شود.

شبکه های عصبی عمیق به عنوان یک پارادایم راه حل محبوب و موثر برای پیش بینی سری های زمانی پدیدار شده اند که منعکس کننده علاقه روزافزون به استفاده از اهرم های پیشرفته است. یادگیری ماشینی تکنیک هایی برای مقابله با پیچیدگی های داده های متوالی

یادگیری خود نظارتی

الگویی که مدل سازی می کند یاد بگیرند از داده های بدون برچسب با تولید سیگنال های نظارتی داخلی، به طور معمول از طریق وظایف بهانه.

برخلاف یادگیری تحت نظارت، که به داده های برچسب دار نیاز دارد، یادگیری خود نظارتی از ساختار ذاتی استفاده می کند در داخل داده ها برای ایجاد برچسب های لازم برای آموزش.

یادگیری خود نظارتی برای سری های زمانی:

در زمینه یادگیری خود نظارتی، سری های زمانی توانایی های منحصر به فردی را برای توسعه مدل هایی ارائه می دهد که می توانند یاد بگیرند بازنمایی های جهانی از داده های بدون برچسب.

این رویکرد پیش‌بینی سری‌های زمانی را با اجازه دادن به مدل‌ها برای گرفتن هر دو افزایش می‌دهد وابستگی های طولانی مدت و ویژگی های جزئیات محلی. با این حال، گرفتن موثر این جنبه ها همچنان چالش برانگیز است و نیاز به روش های نوآورانه ای مانند TimeDART (این مقاله)، که مدل‌سازی انتشار و خود رگرسیون را ادغام می‌کند برای رسیدگی به این چالش ها.

مشکل:

چالش سری های زمانی است گرفتن وابستگی های توالی جهانی و ویژگی های جزئیات محلی به طور موثر از روش های یادگیری خود نظارتی استفاده می کند.

روش های سنتی مبارزه با این وظیفه دوگانه، بر توانایی آنها در یادگیری بازنمایی جامع و گویا از داده های سری زمانی تأثیر می گذارد.

راه حل TimeDarT است:

TimeDarT

در یک کلمه، این “راه حل” مشکل پیش بینی سری های زمانی! اما خوب، این کافی نیست! ما باید آن را بررسی و حفاری کنیم 🙂

TimeDART، مخفف Diffusion Auto-Regressive Transformer، یک خودکار است.یادگیری تحت نظارت روش طراحی شده برای پیش بینی سری های زمانی. هدف آن بهبود پیش بینی نقاط داده آینده توسط یادگیری از الگوها در داده های گذشته در یک سری زمانی مانند تقسیم داده های سری زمانی به بخش های کوچکتر، تکه ها، و از این وصله ها به عنوان استفاده می کند واحدهای اساسی برای مدل سازی

محققان استفاده کردند رمزگذار ترانسفورماتور با مکانیسم های خود توجه برای فهمیدن وابستگی ها بین این وصله ها، به طور موثر گرفتن را ساختار توالی کلی از داده ها

دو فرآیند از انتشار و حذف نویز برای پرداختن به ویژگی های دقیق در هر پچ استفاده می شود. این دو کمک می کند گرفتن ویژگی های محلی با افزودن و حذف نویز از داده ها (فرآیند بسیار معمولی در همه مدل‌های انتشار). در واقع، به مدل کمک می کند تا در الگوهای دقیق بهتر رفتار کند.

معماری TimeDART:

Normalization و Patching Embedding

اولین مرحله درخواست است عادی سازی نمونه (نرمال سازی) به داده های سری زمانی چند متغیره ورودی برای اطمینان از اینکه هر نمونه دارای یک است میانگین صفر و استاندارد واحد انحراف، که به حفظ کمک می کند قوام در پیش بینی نهایی

داده های سری زمانی به دو دسته تقسیم می شوند تکه ها به جای امتیازهای فردی، این اجازه می دهد گرفتن جامع تر اطلاعات محلی.

را طول پچ تنظیم شده است برابر به گام برداشتن برای جلوگیری از نشت اطلاعات، این به ما کمک می کند تا مطمئن شویم که هر وصله حاوی آن است فقط غیر همپوشانی بخش هایی از دنباله اصلی

رمزگذار ترانسفورماتور برای وابستگی های بین پچ

یک داریم رمزگذار ترانسفورماتور مبتنی بر توجه در معماری، این به مدل سازی کمک می کند وابستگی بین وصله ها.

این رویکرد به جذب کمک می کند وابستگی های توالی جهانی با در نظر گرفتن روابط بین تکه های مختلف داده های سری زمانی.

استفاده از رمزگذار Transformer به TimeDART امکان یادگیری را می دهد معنی دار نمایش های بین پچ، که برای آنها بسیار مهم است درک بالاساختار سطح از سری زمانی

فرآیند انتشار به جلو

در فرآیند انتشار به جلو، سر و صدا روی وصله های ورودی اعمال می شود. این مرحله برای تولید سیگنال‌های خود نظارتی که مدل را قادر می‌سازد، ضروری است نمایش های قوی را یاد بگیرید توسط در حال بازسازی داده های اصلی از آن نسخه پر سر و صدا.

این نویز به مدل کمک می کند تشخیص دهد و تمرکز کنید بر روی الگوهای ذاتی در داخل داده های سری زمانی.

رمزگشای نویز زدایی مبتنی بر توجه متقابل

رمزگشای حذف نویز از a استفاده می کند مکانیسم توجه متقابل به بازسازی وصله های اصلی و بدون نویز

این اجازه می دهد دشواری بهینه سازی قابل تنظیم، انجام وظیفه خود نظارت شده است موثرتر و مدل را قادر می سازد تا تمرکز کنید در گرفتن ویژگی های دقیق درون پچ. این طراحی باعث افزایش مدل می شود قابلیت به یاد بگیرند هر دو محلی و ویژگی های جهانی به طور موثر

نویزها (به عنوان پرس و جو) و خروجی های رمزگذار (کلیدها و مقادیر) را وارد می کند و رمزگشا را پنهان می کنیم تا مطمئن شویم که ورودی j در نویز اضافه شده با خروجی j از رمزگذار ترانسفورماتور مطابقت دارد.

نسل رگرسیون خودکار برای وابستگی های جهانی

مسئولیت تسخیر است وابستگی های جهانی در سطح بالا در سری زمانی با بازگرداندن دنباله اصلی به صورت خودکار، مدل می تواند درک کنند را الگوهای زمانی کلی و وابستگی ها، توانایی پیش بینی آن را بهبود می بخشد.

بهینه سازی و تنظیم دقیق

در نهایت، کل مدل در یک بهینه سازی شده است روش خود رگرسیون برای به دست آوردن نمایندگی های قابل انتقال که می تواند باشد به خوبی تنظیم شده است برای کارهای پیش بینی خاص این مرحله تضمین می کند که نمایش های آموخته شده مدل هر دو هستند جامع و سازگار به برنامه های مختلف پایین دست، فعال می کند عملکرد برتر در پیش بینی سری های زمانی

ارزیابی:

مجموعه داده ها

مدل TimeDART با استفاده از هشت محبوب مورد ارزیابی قرار گرفت مجموعه داده ها برای آزمایش اثربخشی آن در پیش‌بینی سری‌های زمانی. اینها مجموعه داده ها شامل چهار ETT مجموعه داده ها (ETTh1، ETTh2، ETTm1، ETTm2)، و همچنین آب و هوا، مبادله، برق، و مجموعه داده های ترافیک.

این مجموعه داده ها شامل طیف وسیعی از سناریوهای کاربردی مانند سیستم های قدرت، شبکه های حمل و نقل و پیش بینی آب و هوا می باشد. (همانطور که گفتم سری های زمانی همه جا مهم است 👀🙂)

نتایج

لطفاً توجه داشته باشید که محققان جزئیات بیشتری از کار مانند پارامترهای فوق را ذکر کردند. با این حال، با هدف جلوگیری از این مقاله طولانی تر، آنها را ذکر نکردم و شما را به خواندن آن ارجاع دادم کاغذ اصلی.

همچنین می توانید مستقیماً از طریق من تماس بگیرید لینکدین یا پلت فرم X (تویتر سابق)🙂🔥🤗

منتشر شده از طریق به سمت هوش مصنوعی