محور تحقیق: هفته 5 دسامبر 2022
به سایت آموزشی میتوانید خوش آمدید، درضمن اگر برای کسب و کار به جذب مشتری نیاز دارید پیشنهاد میکنیم روی سایت تبلیغات کلیک کنید تا بزرگترین سایت تبلیغات ایران بشوید.
محور تحقیق: هفته 5 دسامبر 2022
در این شماره، ما به ارائه برخی از بیش از 100 مقاله خود که در NeurIPS 2022 پذیرفته شدهاند، ادامه میدهیم.
مقاله برجسته: تخمین گرادیان با عملگرهای گسسته Stein
جیاکسین شی، یوهائو ژو، جسیکا هوانگ، میکالیس تیتسیاس، لستر مکی
تخمین گرادیان – تقریب گرادیان یک انتظار با توجه به پارامترهای یک توزیع – برای حل بسیاری از مشکلات یادگیری ماشین مرکزی است. با این حال، هنگامی که توزیع گسسته است، اغلب برآوردگرهای گرادیان متداول از واریانس بیش از حد رنج می برند. برای بهبود کیفیت برآورد گرادیان، ما یک تکنیک کاهش واریانس را بر اساس عملگرهای Stein برای توزیعهای گسسته در مقاله خود معرفی میکنیم: تخمین گرادیان با عملگرهای گسسته Stein. سپس از این تکنیک برای ایجاد متغیرهای کنترلی انعطاف پذیر برای برآوردگر REINFORCE استفاده می کنیم. تغییرات کنترل ما را می توان به صورت آنلاین تنظیم کرد تا واریانس را به حداقل برساند و نیازی به ارزیابی اضافی از تابع هدف نباشد. در وظایف مدلسازی مولد معیار مانند آموزش رمزگذارهای خودکار متغیر باینری، برآوردگر گرادیان ما واریانس بسیار پایینتری نسبت به برآوردگرهای پیشرفته با همان تعداد ارزیابی عملکرد بدست میآورد.
یادگیری شبیه سازی مدولار برای سیستم های همگن
جایش ک. گوپتa، سای ومپرالا، آشیش کاپور
شبیهسازیهای مبتنی بر داده بهعنوان یک جایگزین مؤثر برای ساختن شبیهسازها از ابتدا پدیدار شدهاند که شامل صنایع دستی پیچیده و دانش تخصصی است. با این حال، سیستمهای پیچیده واقعی اغلب به زیرسیستمهای مدولار تجزیه میشوند و معمولاً بهگونهای طراحی میشوند تا قابلیت مهندسی را داشته باشند. متأسفانه، روشهای مبتنی بر دادههای کنونی تمایل دارند بلوکهای یکپارچه را به صورت سرتاسری یاد بگیرند، که اغلب منجر به شبیهسازهایی میشود که فقط برای یک پیکربندی خاص کار میکنند و قابل تعمیم نیستند. در مقاله ما: یادگیری شبیهسازیهای مدولار برای سیستمهای همگن، ما یک چارچوب شبیهسازی ماژولار برای مدلسازی سیستمهای چند جسمی همگن ارائه میکنیم که ایدههایی از شبکههای عصبی نمودار و معادلات دیفرانسیل عصبی را ترکیب میکند. ما معادله دیفرانسیل معمولی عصبی گذرنده پیام (MP-NODE) را پیشنهاد میکنیم، الگویی برای مدلسازی زیرسیستمهای منفرد بهعنوان ODEهای عصبی همراه با قابلیت انتقال پیام فضایی-زمانی، که سپس برای هماهنگ کردن شبیهسازیهای کامل استفاده میشود. ما چارچوب خود را بر روی انواع سیستمها ارزیابی میکنیم و نشان میدهیم که ارسال پیام امکان هماهنگی بین چندین ماژول را در طول زمان برای پیشبینیهای دقیق فراهم میکند و همچنین میتواند تعمیم صفر شات را به پیکربندیهای سیستم جدید فعال کند. علاوه بر این، نشان میدهیم که مدلهای ما را میتوان به پیکربندیهای سیستم جدید با نیاز به داده و تلاش آموزشی کمتر، در مقایسه با مدلهایی که از ابتدا آموزش دیدهاند، منتقل کرد.
مدل های عمیق خود توضیحی با استدلال قاعده منطقی
سونجئون لی، Xiting Wang، Sungwon Han، Xiaoyuan Yi، Xing Xie ، میونگ چا
یادگیری عمیق دقت پیشبینی بالایی را در طیف وسیعی از کارها نشان داده است، اما مکانیسمهای کاری درونی آن توسط طرحهای مدل پیچیده پنهان شده است. این سؤالات مهمی را در مورد اینکه آیا یک مدل عمیق اخلاقی، قابل اعتماد است یا قادر به انجام آن گونه که در شرایط مختلف مورد نظر است، ایجاد می کند.
در مقاله ما، مدلهای عمیق خود توضیحی با استدلال قاعده منطقی، ما SELOR را ارائه میکنیم، چارچوبی برای ادغام قابلیتهای خود توضیحی در یک مدل عمیق داده شده برای دستیابی به عملکرد پیشبینی بالا و دقت انسانی. با “دقت انسانی”، ما به میزان موافقت انسان ها با دلایلی که مدل ها برای پیش بینی های خود ارائه می دهند، اشاره می کنیم. دقت انسانی بر اعتماد کاربر تأثیر می گذارد و به کاربران اجازه می دهد تا از نزدیک با مدل همکاری کنند. ما نشان میدهیم که توضیحات قانون منطقی به طور طبیعی دقت انسان را با قدرت بیانی مورد نیاز برای عملکرد پیشبینی خوب برآورده میکند. سپس نشان می دهیم که چگونه می توان یک مدل عمیق را برای پیش بینی و توضیح با قوانین منطقی فعال کرد. روش ما به مجموعه قوانین منطقی از پیش تعریف شده یا حاشیه نویسی های انسانی نیاز ندارد و می توان آن را به طور موثر و آسان با ماژول های یادگیری عمیق پرکاربرد به روشی متفاوت یاد گرفت. آزمایشهای گسترده نشان میدهد که روش ما توضیحاتی نزدیکتر به منطق تصمیمگیری انسانی نسبت به روشهای دیگر ارائه میدهد و در عین حال عملکرد مدلهای یادگیری عمیق را حفظ میکند.
3DB: چارچوبی برای اشکال زدایی مدل های بینایی رایانه
گیوم لکلرک، هادی سلمان، اندرو الیاس، سای ومپرالا، لوگان انگستروم، Vibhav Vineet، Kai Xiao، Pengchuan Zhang، Shibani Santurkar، گرگ یانگ، آشیش کاپور
مدلهای بینایی رایانهای مانند طبقهبندی و تشخیص اشیا به طرق مختلف با شکست مواجه میشوند. در حالی که اهمیت شناخت و رسیدگی به چنین کاستی هایی به خوبی درک شده است، ما فاقد ابزار مقیاس پذیر و کارآمد برای شناسایی چنین موارد شکست هستیم. برای پرداختن به این موضوع، ما 3DB را معرفی میکنیم: یک چارچوب قابل گسترش و یکپارچه برای آزمایش و اشکالزدایی مدلهای بینایی با استفاده از شبیهسازی واقعگرایانه. در مقاله ما، 3DB: چارچوبی برای اشکال زدایی مدل های بینایی کامپیوتری، ما نشان می دهیم که چگونه 3DB به کاربران امکان می دهد مدل های بینایی را روی تصاویر مصنوعی آزمایش کنند، جایی که مجموعه ای از عوامل مختلف را می توان کنترل کرد. ما از طریق طیف وسیعی از موارد استفاده نشان میدهیم که 3DB به کاربران اجازه میدهد کاستیها را در سیستمهای بینایی کامپیوتری کشف کنند و بینشی در مورد نحوه تصمیمگیری مدلها کسب کنند. 3DB بسیاری از تحلیلهای استحکام را از کارهای قبلی ضبط و تعمیم میدهد و فرد را قادر میسازد تا تعامل آنها را مطالعه کند. در نهایت، متوجه می شویم که بینش های ایجاد شده توسط سیستم به دنیای فیزیکی منتقل می شود. ما 3DB را بهعنوان یک کتابخانه همراه با مجموعهای از تحلیلها، راهنماها و مستندات نمونه منتشر میکنیم: https://3db.github.io/3db/ .
پیشنهاد میکنیم از دیگر نوشته ها دیدن کنید.