Beyond the Buzz: واقعیت پیچیده مدل های بنیاد گراف

نویسنده (ها): دکتری امین آسره

در ابتدا منتشر شده در به سمت هوش مصنوعیبشر

بعد از گذشت یک سال از مدار کنفرانس AI – به لطف یک رویداد مهم زندگی – ماه گذشته بازگشتم را با یک DoubleHeader: ICML و به دنبال آن KDD انجام دادم. من از راه قبل از “خنک شدن” در هوش مصنوعی بوده ام ، اما سرعت تغییر در چند سال گذشته باعث می شود احساس کنم که برای امتحان هستم که هرگز به پایان نمی رسد. چراغهای کنفرانس سالها در یک موضوع داغ می ماندند. اکنون آنها خیلی سریع تغییر می کنند که فکر می کنید در Tiktok بودند.

این بار ، کلمه کلیدی که از طریق خطوط قهوه و جلسات پوستر تکرار می شود مدل های بنیاد نمودار (GFMS)بشر جمعیت گسترده تر هوش مصنوعی – به خصوص آنهایی که هنوز سوار بر ارتفاعات هستند هوش مصنوعی -در مورد آوردن دفترچه بازی “مدل بنیاد” به داده های ساختار یافته نمودار ، خوشحال بود. یک حتی زمزمه کرد ، چشمان گسترده ، که این می تواند “یک لحظه دیگر برت” باشد.

با این حال ، جانبازان تحقیق نمودار کاملاً خرید اعتیاد به مواد مخدره نبودند. مطمئناً ، آنها از دیدن نمودارها در کانون توجه لذت می بردند – اما عبارات چهره آنها به عنوان افراد Genai GFMS را به خود جلب می کردند؟ در جایی بین لبخند مودبانه و شکاف قابل مشاهده.

و این مقاومت نبود. این بازتابی از پیچیدگی های واقعی بود که با استفاده از یک الگوی متولد شده از داده های پی در پی (مانند متن) به دنیای پیچیده و غیر الکلیدسی نمودارها می آید.

مدل پایه گرافیک چیست؟

در هسته آن ، الف مدل بنیاد نمودار (GFM) است یادگیری ماشین مدل از قبل در مورد داده های نمودار گسترده ، طراحی شده است که برای کارهای متنوع نمودار پایین دست اقتباس شده است. این آینه موفقیت سایر مدلهای بنیاد در هوش مصنوعی است ، جایی که پیش از آموزش در مقیاس بزرگ ، سازگاری همه کاره را امکان پذیر می کند.

GFM به طور معمول در دو مرحله کار می کند:

• از پیش دور – الگوهای یادگیری ، ساختارها و روابط از نمودار گسترده و متنوع مجموعه داده ها بدون تمرکز روی هر کار واحد.
• تطبیق -تنظیم دقیق ، فوری یا یادگیری درون متن برای کارهای خاص پایین دست ، مانند پیش بینی املاک مولکولی ، تشخیص جامعه در شبکه های اجتماعی یا پیش بینی ترافیک.

نظرسنجی های اخیر پیشنهاد می کند نمای مدولار از GFMS ، آنها را به سه بلوک ساختمان تجزیه می کند:

• ستون فقرات (به عنوان مثال ، ترانسفورماتور نمودار ، GNN ، LLMS، یا هیبریدها) ،
• استراتژی های قبل از آموزش (اهداف متضاد ، مولد ، پیش بینی) ،
• مکانیسم سازگاری (تنظیم دقیق ، تنظیم سریع ، تطبیق زمان آزمون).

به طور خلاصه: اگر LLM ها مدل های پایه ای برای متن هستند ، GFMS آرزو می کند که برای داده های رابطه ای یکسان باشد.

اشتیاق Genai: یک پیشرفت طبیعی

برای هرکسی که تأثیر مدل های بزرگ زبان (LLM) یا مدل های بنیادی را در بینایی دیده باشد ، ایده GFM مانند یک مرحله بعدی طبیعی است. به طور تعریف ، مدل های بنیاد در مجموعه داده های وسیع آموزش دیده و سپس با طیف گسترده ای از کارها سازگار می شوند.

منطق ساده است: اگر LLM ها بتوانند تفاوت های ظریف زبان را از شرکت های متن عظیم یاد بگیرند و بی شماری را تعمیم دهند NLP وظایف ، چرا GFM ها نمی توانند همین کار را برای نمودارها انجام دهند؟ تصور کنید یک مدل واحد که در سراسر شبکه های اجتماعی ، مولکول ها و نمودارهای دانش جهان آموزش دیده است ، سپس برای هر چیزی از کشف مواد مخدر گرفته تا تشخیص کلاهبرداری ، تنظیم شده است. این دیدگاه “یک مدل ، بسیاری از کارها” بسیار جذاب است.

امضاهای مدل های بنیاد گراف

آنچه واقعاً باعث می شود مدل پایه متفاوت از یک مدل بزرگ فقط مقیاس آن نیست بلکه خصوصیات مشخصه این نمایشگاه هنگام آموزش در مجموعه داده های گسترده و متنوع. برای GFMS ، محققان چندین امضاء در حال ظهور را برجسته می کنند:

• مقیاس پذیری قوانین و ظهور – همانطور که در LLMS مشاهده می شود ، توانایی های جدید فقط در مقیاس ظاهر می شود. GFMS در نهایت می تواند استدلال بر ساختارهای پیچیده ، یادگیری درون متن یا حتی سازگاری صفر را با کارهای غیب نشان دهد. درک چگونگی ظهور این رفتارها با داده ها و پارامترهای بیشتر برای مطالعه آنها مهم است.
• همگن سازی در کارها – یکی از جسورانه ترین جاه طلبی ها ، واحد کردن مشکلات متنوع نمودار – طبقه بندی گره ، پیش بینی پیوند ، طبقه بندی نمودار ، حتی تولید نمودار – تحت یک الگوی مدل سازی واحد است. درست مثل بیشتر NLP وظایف برای پیش بینی معنه بعدی کاهش می یابد ، امید این است که وظایف نمودار را می توان در یک چارچوب مشترک تغییر داد. با این حال ، دستیابی به این امر با توجه به ناهمگونی ساختاری نمودارها بسیار چالش برانگیز است.
• نظریه های قابلیت انتقال -وعده بلند مدت GFM در قابلیت استفاده مجدد نهفته است. انتقال می تواند اتفاق بیفتد در یک کار (به عنوان مثال ، تطبیق یک مدل از یک شبکه استناد به دیگری) یا در حوزه ها و وظایف (به عنوان مثال ، حرکت از پیش بینی املاک مولکولی به تجزیه و تحلیل شبکه های اجتماعی). در صورت امکان چنین انتقال ، کار نظری شروع به رسمی شدن می کند – و جایی که ممکن است شکست بخورد.

با هم ، این امضاها نشان می دهد که آینده GFMS نه تنها در مورد مدل های بزرگتر بلکه در مورد کشف اصولی که مدل های بنیادی را واقعاً جهانی می کند.

ترانسفورماتور نمودار: ستون فقرات GFMS

اگر GFMS بینایی باشد ، ترانسفورماتور نمودار (GTS) نامزد برجسته معماری برای واقعی ساختن آنها است. بر خلاف شبکه های عصبی نمودار (GNN) ، که به انتقال پیام موضعی متکی هستند ، GTS هر گره را قادر می سازد تا مستقیماً در همه گره های دیگر شرکت کند. این توجه جهانی به غلبه بر تنگناهای کلاسیک GNN مانند تعصب محلی ، صاف کردن بیش از حد و بیش از حد کمک می کند. در جایی که پیام های GNN ها را بین همسایگان منتقل می کنند ، GTS اجازه می دهد هر گره “با هر گره دیگر” صحبت کند.

کارهای اخیر همچنین نشان می دهد که ترانسفورماتورهای نمودار نمی توانند به سادگی طراحی ترانسفورماتور وانیل را از NLP وام بگیرند. آنها باید سیگنال های خاص نمودار را ادغام کنند-به عنوان مثال ، رمزگذاری های موقعیتی که مسافت ها یا اطلاعات طیفی را ضبط می کنند-بنابراین مدل به نمودار احترام می گذارد رشته شناسیبشر این رویکرد ترکیبی مخلوط می شود بیان جهانی با آگاهی ساختاری، ساخت GT ها به ویژه برای حوزه هایی که تعامل دوربرد اهمیت دارند: کشف مواد مخدر ، تاشو پروتئین ، تشخیص کلاهبرداری ، سیستم های توصیه، و استدلال نمودار دانش.

اما نظرسنجی ها احتیاط می کنند که GTS تنها مسیر نیست. GNN های پیشرفته ، رویکردهای مبتنی بر LLM ، و معماری ترکیبی نامزدهای قوی باقی بمانند. GFMS ممکن است در یک “ترانسفورماتور نمودارها” همگرا نباشد ، اما در یک کثرت طرح ها برای زمینه های مختلف بهینه شده است.

ظرافت جامعه نمودار: تصدیق موانع

جامعه تحقیق نمودار GFMS را با هیجان و احتیاط مشاهده می کند. چندین مانع برجسته:

• ماهیت غیر الکلیدسی نمودارها -بر خلاف متن ، نمودارها نامنظم ، دامنه خاص و متنوع هستند. ایجاد یک هدف آموزش یکپارچه به مراتب دشوارتر است.
• توانایی های ظهور نامشخص – مقیاس گذاری GNN کافی نیست ؛ خواص ظهور مانند استدلال تا حد زیادی تأیید نشده است.
• چالش های همگن سازی -وظایف نمودار از نظر ساختاری متفاوت است (گره در مقابل Edge در مقابل سطح گراف) ، و یک اتحاد کار را دشوار می کند.
• پیچیدگی محاسباتی – مقیاس GTS به صورت چهارگانه با گره ها ؛ نمودارهای در مقیاس میلیارد قابل تحمل باقی مانده است.
• کمبود داده ها – بر خلاف متن یا تصاویر ، ما فاقد مجموعه داده های بزرگ ، متنوع و گرافیکی هستیم. بسیاری از آنها خاص دامنه یا پر سر و صدا هستند.
• عدم اطمینان معماری – هیچ “ترانسفورماتور نمودار” متعارف وجود ندارد. تعصب ساختاری و استحکام همچنان سؤالات باز است.
• قدرت ماندگار GNN ها – GNN های پیشرفته اغلب با GTS با راندمان بسیار بیشتر مطابقت دارند یا از آن خارج می شوند.

نظرسنجی ها همچنین به شکافهای ارزیابی: معیارهای فعلی بر روی دقت اما غفلت تمرکز می کنند استحکام ، اعتماد به نفس و تعمیم در حوزه ها

مسیر به جلو

با وجود موانع ، GFM ها یکی از جالب ترین مرزهای هوش مصنوعی هستند. چندین موضوع در حال ظهور است که می تواند GFM ها را از مفهوم به واقعیت هدایت کند:

• معماری جدید – فراتر از ترانسفورماتورها: مامبا ، توجه خطی ، هیبریدها.
• یکپارچه قبل از آموزش و سازگاری -وظایف بهانه قابل انتقال ، روشهای مبتنی بر سریع ، RLHF و تقطیر دانش.
• درمان داده ها -مجموعه داده های نمودار بزرگ ، متنوع و با کیفیت بالا.
• ارزیابی قوی – معیارهای جدید برای تعمیم ، اعتماد به نفس و مقیاس پذیری.
• طبقه بندی و تخصص – تمایز GFM های جهانی (دامنه متقابل) ، GFM های خاص کاروت GFM های خاص دامنه (مولکول ها ، نمودارهای دانش ، نمودارهای زمانی).
• ایمنی و تفسیر – پرداختن به حریم خصوصی ، توهم ، انصاف و توضیح.

– – – – –

مدلهای بنیاد نمودار در ICML و KDD فقط اعتیاد به مواد مخدره نبودند. این یک مرز در حال تحول را منعکس می کرد – جایی که چشم انداز جسورانه از علاقه مندان به Genai ملاقات می کند احتیاط مبتنی بر محققان نموداربشر آینده GFMS احتمالاً با تعادل شکل خواهد گرفت جاه طلبی ، سختگیری و همکاری در حوزه هابشر

منابع

نظرسنجی ها:

1. مدل های بنیاد نمودار: مفاهیم ، فرصت ها و چالش ها – Arxiv (2025)
2. مدل های بنیاد نمودار: یک بررسی جامع – Arxiv (2025)
3. به سمت مدل های بنیاد نمودار – کنفرانس وب 2024
4. به سمت مدلهای بنیاد نمودار: یک نظرسنجی و فراتر از آن – Arxiv (2023)
5. نظرسنجی در مورد مدلهای بنیاد نمودار خود تحت نظارت: چشم انداز دانش مبتنی بر-ARXIV (2024)

ترانسفورماتور نمودار

1. حضور در ترانسفورماتورهای نمودار – Arxiv (2024)
2. آیا GNN های کلاسیک می توانند خط مقدماتی برای کار در سطح گرافیک باشند؟ – arxiv (2025)
3. بررسی ترانسفورماتورهای نمودار: معماری ها ، نظریه ها و برنامه ها – Arxiv (2025)
4. آشنایی با ترانسفورماتورهای نمودار (kumo.ai)

برنامه ها و برنامه های افزودنی:

1. مدل های بنیاد نمودار برای توصیه: یک بررسی جامع – Arxiv (2025)
2. کلیات یادگیری در سراسر نمودارها از طریق درختان کار-OpenReview (2025)
3. به سمت مدلهای بنیاد برای استدلال نمودار دانش – OpenReview (2024)
4. مدل های بنیاد عالی در نمودارها – GitHub

منتشر شده از طریق به سمت هوش مصنوعی