LAI #66: نظریه اطلاعات برای مردم با عجله


نویسنده (ها): به سمت تیم تحریریه AI

در ابتدا منتشر شده در به سمت هوش مصنوعیبشر

صبح بخیر ، علاقه مندان به او! این هفته ، من برای NVIDIA GTC به سان خوزه ، کالیفرنیا می روم ، از 17 تا 21 مارس اتفاق می افتد. من در بسیاری از بحث ها شرکت می کنم و از دیدار با برخی از شما در آنجا هیجان زده می شوم. اگر در اطراف هستید ، احساس راحتی کنید که متوقف شوید و سلام کنید!

اکنون ، برای شماره این هفته ، ما یک مقاله بسیار جالب در مورد تئوری اطلاعات داریم ، و به بررسی اطلاعات خود ، می پردازیم. آنتروپی، متقاطعآنتروپی، و kl واگرایی-این مفاهیم تئوری احتمال پل با برنامه های دنیای واقعی. ما همچنین به چالش داده های نامتعادل در تشخیص ناهنجاری شیرجه می زنیم و روشی را معرفی می کنیم که از آن استفاده می کند LLM تعبیه برای شناسایی بی نظمی های ظریف – به ویژه هنگامی مفید است که تکنیک های سنتی مانند نمونه برداری یا زیر نمونه برداری کوتاه شوند.

به علاوه ، ما آموزش های عملی در مورد گرافراگ ، تقطیر دانش ، RAG برای سیستم های تأیید و همکاری های هیجان انگیز تر و فرصت های جامعه محور دریافت کرده ایم. از خواندن لذت ببرید!

-لوئیز فرانسوا بوچارد ، به سمت بنیانگذار AI و رئیس جامعه

این مسئله به لطف شما برای شما آورده شده است nvidia gtc:

nvidia gtc بازگشت است ، و شکل می گیرد که یکی از بزرگترین رویدادهای هوش مصنوعی سال باشد! دویدن 17 تا 21 مارس در سان خوزه ، کالیفرنیا، GTC توسعه دهندگان ، محققان و رهبران تجارت را گرد هم می آورد تا پیشرفت های پیشرفته در هوش مصنوعی ، محاسبات شتاب و علم داده را کشف کنند.

یک برنامه بسته بندی شده وجود دارد ، از جمله:

  • اصلی ترین مدیرعامل Nvidia جنسن هوانگ – پوشش عوامل هوش مصنوعی ، روباتیک و آینده محاسبات شتاب
  • ظهور روبات های انسان دوستانه – بررسی چگونگی پیشبرد AI روباتیک به جلو
  • Ai & Computing Frontiers با Yann Lecun و Bill Dally – یک شیرجه عمیق به جایی که AI در آن قرار دارد
  • AI و دیجیتالی سازی صنعتی – نحوه تغییر AI صنایع در دنیای فیزیکی
  • کارگاههای آموزشی و آزمایشگاههای آموزش-جلسات عملی در هوش مصنوعی ، GPU برنامه نویسی ، و موارد دیگر

به ما در NVIDIA GTC – رویداد AI سال بپیوندید!

📅 17-21 مارس
📍 سان خوزه ، کالیفرنیا و آنلاین

بخش جامعه را با هم بیاموزید!

پست برجسته جامعه از Discord

Hasshiloh_pendergraff یک سکوی منبع باز ، Divora ساخته است که به توسعه دهندگان این امکان را می دهد تا بدون اینکه به هیچ API یا سرویس خارجی گره خورده باشند ، مدل های هوش مصنوعی خود را به طور کامل کنترل و آموزش دهند. کد شفاف است و می توانید پیشرفت هایی را برای بررسی جامعه ارائه دهید. شما می توانید استفاده از آن را به صورت رایگان از اینجا شروع کنید و از یک عضو جامعه دیگر حمایت کنید. اگر سوالی یا بازخورد دارید ، آنها را در موضوع به اشتراک بگذارید!

نظرسنجی AI هفته!

از آنجا که اکثر شما ساختمان را از ابتدا ترجیح می دهید ، من کنجکاو هستم که می دانم چگونه به این روند نزدیک شده اید ، اگر محیطی وجود دارد که به خصوص خوب کار کند ، در موضوع به من بگویید!

فرصت های همکاری

جامعه Discord Learn Ai Together با فرصت های همکاری در حال سیل است. اگر از شیرجه رفتن به هوش مصنوعی کاربردی هیجان زده اید ، یک شریک مطالعه می خواهید ، یا حتی می خواهید برای پروژه Passion خود شریک پیدا کنید ، به کانال همکاری بپیوندید! به این بخش نیز توجه داشته باشید – ما هر هفته فرصت های جالب را به اشتراک می گذاریم!

1 ayanb1827 ساخت هوش مصنوعی دستیار “مغز دوم” و به دنبال همكاری است. اگر وارد LLMS یا RAG هستید یا فقط می خواهید یاد بگیرید و ساخت پروژه های Cool AI با او در موضوع ارتباط برقرار کنید!

2 Ivy_kaye به دنبال چند نفر است که در هوش مصنوعی مبتدی هستند تا با هم تحصیل کنند. در صورت شروع کار ممکن است مکان مناسبی برای شروع باشد. در موضوع به او دسترسی پیدا کنید!

Meme of Week!

Meme به اشتراک گذاشته شده توسط هیتارچی

بخش سرپرستی تای

مقاله هفته

راهنمای عملی برای تقطیر مدلهای بزرگ به مدلهای کوچک: یک رویکرد جدید با تقطیر گسترده از طرف شنگگانگ لی

در این مقاله به بررسی یک رویکرد عملی در مورد تقطیر دانش ، انتقال قابلیت های مدل های بزرگ به مدل های کوچکتر و کارآمدتر می پردازیم. این تقطیر سنتی را که متمرکز بر تقلید از خروجی نهایی است ، با تقطیر گام به گام ، شامل روند استدلال مدل معلم است. نویسنده یک روش گام به گام پیشرفته را معرفی می کند که یادگیری را از طریق شیب دار از دست دادن تدریجی منطقی ، شباهت کنوانسیون برای تراز استدلال و تنظیم قوام قوی تر تثبیت می کند. روش بهبود یافته محدودیت های رویکرد گام به گام اصلی را نشان می دهد و منجر به تعمیم بهتر و دقت پیش بینی می شود. آزمایش کد با استفاده از رگرسیون لجستیک ، اثربخشی این تکنیک ها را نشان می دهد. نویسنده همچنین بحث می کند که چگونه می توان این پیشرفت ها را در مدل های بزرگ زبان استفاده کرد و باعث افزایش تفسیر و عملکرد می شود. نوآوری کلیدی از دست دادن شباهت بر اساس حاشیه برای تقطیر منطقی است.

مقالات باید بخوانید

1 کاوش در گرافراگ: بازیابی دانش هوشمند هوشمند AI با Neo4J & LLMS از طرف سریدار سامپات

این مقاله جزئیات گرافراگ ، تکنیکی که توسط مایکروسافت ساخته شده است و نمودارهای دانش Neo4J را با مدل های بزرگ زبان (LLM) برای بهبود دقت و استدلال هوش مصنوعی ترکیب می کند. این محدودیت های LLM های سنتی ، مانند توهم و زمینه تکه تکه شده ، با استفاده از بازیابی ساختار یافته مبتنی بر نمودار قبل از تولید پاسخ های AI ، می پردازد. نویسنده با ساختن یک چت بابات گرافیک دانش فوتبال ، توانایی های گرافراگ را نشان می دهد ، و نشان می دهد که چگونه درک ، دقت و شفافیت را تقویت می کند. این فرایند شامل ساخت نمودار دانش NEO4J ، تبدیل نمایش داده های کاربر به نمایش داده های Cypher برای بازیابی و استفاده از GPT برای قالب بندی دانش بازیابی شده در پاسخ های قابل خواندن انسان است. نویسنده گرافراگ را با RAG سنتی مقایسه می کند ، و مزایای آن را در بازیابی واقعی ، استدلال ساختاری ، مقیاس پذیری و کاربرد دامنه-آگنوستیک برجسته می کند.

2 عدم تعادل تجدید نظر: تعبیه LLM برای تشخیص بی نظمی ظریف از طرف Elangoraj Thiruppandiaraj

این وبلاگ به چالش مداوم داده های نامتعادل در تشخیص ناهنجاری می پردازد. این روش با استفاده از تعبیه LLM برای شناسایی بی نظمی های ظریف ، که به ویژه در صورت استفاده از تکنیک های استاندارد مانند نمونه برداری یا زیر نمونه برداری کوتاه ، مفید است. این توضیح می دهد که چگونه تبدیل داده ها به تعبیه امکان می دهد تا رویدادهای مشابه را خوشه بندی کنید و حفظ ظرافت هایی که اغلب با روش های سنتی از دست می روند. ایده اصلی شامل مقایسه نقاط داده جدید در برابر ناهنجاری های شناخته شده در فضای تعبیه برای تشخیص ویژگی های مشابه است. نویسنده همچنین در مورد چالش هایی مانند الزامات محاسباتی و به روزرسانی های مدل بحث می کند ، و پیشنهادات عملی را برای اجرای و کاربردهای بالقوه فراتر از تشخیص ناهنجاری ، مانند تشخیص کلاهبرداری و تشخیص مراقبت های بهداشتی ارائه می دهد.

3 ایجاد خطوط لوله تأیید قوی برای سیستم های RAG: اطمینان از پاسخ های دقیق و مرتبط LLM از طرف کیتای دونگ

این وبلاگ شش روش تأیید را برای اطمینان از صحت و ارتباط پاسخ های سیستم های تولیدی بازیابی (RAG) بررسی می کند. این تکنیک هایی مانند LLM-AS-DUDGE ، تأیید بازیابی و تأیید واحد/ادعای را که ارزیابی دقت واقعی و تراز منبع را ارزیابی می کند ، جزئیات می دهد. این مقاله همچنین تراز پرسشنامه را برای اطمینان از ارتباط ، برآورد اطمینان برای کمیت عدم اطمینان و تأیید چند ساله برای سازگاری در پاسخ های متعدد پوشش می دهد. نقاط قوت ، ضعف و بهترین موارد استفاده هر روش مورد تجزیه و تحلیل قرار می گیرد و راهنمایی های عملی برای ایجاد خطوط لوله تأیید قوی برای افزایش قابلیت اطمینان برنامه های LLM ارائه می دهد.

4 🚅 نظریه اطلاعات برای مردم با عجله از طرف دکتری Eyal Kazin

این وبلاگ به بررسی مفاهیم کلیدی از تئوری اطلاعات می پردازد: اطلاعات خود ، آنتروپی ، آنتروپی و واگرایی KL. این توضیح می دهد که چگونه این معیارها تعجب ، عدم اطمینان و سوء استفاده را بین توزیع احتمال کم می کنند. با استفاده از مثال پیش بینی آب و هوا ، نشان می دهد که چگونه آنتروپی متقابل می تواند طول پیام را در فشرده سازی داده ها و ارتباطات کارآمد بهینه کند. همچنین کاربردهای عملی این مفاهیم را در آن برجسته می کند یادگیری ماشین و تجزیه و تحلیل داده ها ، تهیه کد پایتون برای محاسبات.

اگر علاقه مند به انتشار با AI هستید ، دستورالعمل های ما را بررسی کرده و ثبت نام کنیدبشر اگر این سیاست ها و استانداردهای تحریریه ما را رعایت کند ، کار شما را به شبکه خود منتشر خواهیم کرد.

منتشر شده از طریق به سمت هوش مصنوعی



منبع: https://towardsai.net/p/artificial-intelligence/lai-66-information-theory-for-people-in-a-hurry