شبکه های عصبی مصنوعی برای یادگیری بهتر می خوابند - وبلاگ بهسا

به گزارش وبلاگ بهسا، با توجه به سن، انسان در 24 ساعت شبانه روز به 7 الی 13 ساعت خواب کامل احتیاج دارد. در طول فرآیند خوابیدن، اتفاقات زیادی در بدن می افتد که شامل ضربان آرام قلب و تنفس، کند شدن متابولیسم بدن و تنظیم سطح هورمون ها می گردد. در چنین حالتی بدن کاملا در آرامش به سر می برد، اما در این میان مغز رفتار دیگری را در پیش می گیرد.

مغز در هنگام خواب بسیار مشغول است، چراکه آنچه را که در طول روز آموخته ایم را به منظور یادگیری بهتر تکرار می نماید. درواقع خواب به سازماندهی مجدد اطلاعات و خاطرات یاری می نماید تا در زمان بیداری این موارد را به کارآمدترین شکل ممکن ارائه دهد. جالب است بدانید که همین رویه برای شبکه های عصبی مصنوعی، این مخلوقات عجیب انسان هم صادق است!

فراموشی فاجعه بار در شبکه های عصبی مصنوعی

شبکه های عصبی مصنوعی از معماری ای مشابه با مغز انسان برای بهبود فناوری ها و سیستم های متعدد، از علوم پایه و پزشکی گرفته تا امور مالی و شبکه های اجتماعی استفاده می نمایند. به همین دلیل جالب است بدانید که اگرچه از بعضی جهات، این مخلوقات انسان به عملکردهای مافوق بشری، همانند سرعت محاسبات بسیار بالا دست یافته اند، اما در یک جنبه کلیدی شکست خورده اند. زمانی که شبکه های عصبی مصنوعی به طور متوالی مواردی را یاد می گیرند، اطلاعات نو را بر روی اطلاعات قبلی بازنویسی می نمایند، چنین اتفاقی پدیده فراموشی فاجعه بار Catastrophic Forgetting نامیده می گردد.

در مقابل شبکه های عصبی مصنوعی، مغز انسان به طور مداوم در حال یادگیری است و داده های نو را در کنار دانش موجود از قبل می گنجاند. در این سبک یادگیری معمولاً زمانی که آموزه های نو با دوره های منظم خواب همراه می گردد به تثبیت بهتر اطلاعات و یادگیری عمیق تر یاری می نماید. بنابراین در 18 نوامبر 2022 زیست شناسان محاسباتی به جست وجوی بیشتر در این زمینه پرداختند که چگونه مدل های بیولوژیکی می توانند به کاهش خطر فراموشی فاجعه بار در شبکه های عصبی مصنوعی یاری نمایند و کاربرد آن ها را در طیف وسیعی از زمینه های تحقیقاتی افزایش دهند.

خوابیدن به یادگیری بهتر شبکه های عصبی مصنوعی یاری می نماید

به همین دلیل دانشمندان از شبکه های عصبی خاصی استفاده کردند که به طور مصنوعی رفتار سیستم های عصبی طبیعی را تقلید می نماید. درواقع در این رویکرد نو به جای اینکه اطلاعات دائما جابه جا گردد و به طور مداوم کل سیستم با هم ارتباط داشته باشد، اطلاعات به صورت رویدادهای گسسته (به شکل خوشه ای) در مقاطع زمانی خاصی منتقل می گردد.

طی همین رویه دانشمندان متوجه شدند که وقتی این شبکه های خوشه ای اطلاعات نو را به شکل دوره های گاه به گاه و خارج از حالت پیوسته (که شبیه خواب است) یاد می گیرند، نرخ فراموشی فاجعه بار کاهش می یابد. به گفته نویسندگان این مطالعه، همانند مغز انسان، خواب به شبکه های عصبی اجازه می دهد تا خاطرات قدیمی را بدون استفاده صریح از داده های آموزشی قدیمی یادآور گردد. در مغز انسان خاطرات با الگوهایی به نام وزن سیناپسی synaptic weight که به معنی قدرت یا دامنه ارتباط بین دو نورون است، نشان داده می گردد.

اصولا زمانی که در حال یادگیری اطلاعات نوی هستیم، نورون ها به ترتیب خاصی روشن می شوند و همین مساله هم عاملی برای افزایش سیناپس ها در بین نورون های مختلف است. در طول خواب، همین الگوهای سیناپسی (که در حالت بیداری انجام می شوند)، خود به خود تکرار می شوند که به آن فعال سازی مجدد یا پخش مجدد می گویند.

انعطاف پذیری سیناپسی که شامل ظرفیت تغییر یا قالب گیری نو اتصالات می گردد، در طول خواب هم وجود دارد و می تواند الگوهای وزن سیناپسی که نماینده حافظه هستند را تقویت کند و به جلوگیری از فراموشی یا بازنویسی مجدد اطلاعات بر روی اطلاعات نو یاری کند. محققانِ این مطالعه این رویکرد را برای شبکه های عصبی مصنوعی به کار بردند و دریافتند که چنین رویه ای به این شبکه ها یاری می نماید از فراموشی فاجعه بار جلوگیری نمایند. نتیجه این تحقیقات بدان معناست که این شبکه ها می توانند مانند انسان ها یا حیوانات به طور مداوم اطلاعات نوی را یاد بگیرند.

در خاتمه باید خاطر نشان کرد که درک اینکه مغز انسان چگونه اطلاعات را در طول خواب پردازش می نماید که می تواند به تقویت حافظه یاری کند از جمله حوزه های مطالعاتی است که می تواند رقم زننده پیشرفت چشمگیر در بهبود شبکه های عصبی مصنوعی هم باشد.

منبع: Science Daily