Skaičiavimo modeliai, imituojantys žmogaus klausos sistemos struktūrą ir funkciją, galėtų padėti mokslininkams sukurti geresnius klausos aparatus, kochlearinius implantus ir smegenų bei mašinų sąsajas. Naujas MIT tyrimas parodė, kad šiuolaikiniai skaičiavimo modeliai, gauti iš mašininio mokymosi, artėja prie šio tikslo.
Iki šiol didžiausiame giliųjų neuroninių tinklų, išmokytų atlikti klausos užduotis, tyrime MIT komanda parodė, kad dauguma šių modelių sukuria vidinius vaizdus, kurie turi panašių savybių, kurios matomos žmogaus smegenyse, kai žmonės klausosi tų pačių garsų.
Tyrime taip pat pateikiama įžvalga, kaip geriausiai išmokyti tokio tipo modelius: tyrėjai nustatė, kad modeliai, treniruojami pagal klausos įvestį, įskaitant foninį triukšmą, labiau imituoja žmogaus klausos žievės aktyvavimo modelius.
„Šis tyrimas išsiskiria tuo, kad tai yra iki šiol išsamiausias tokių modelių palyginimas su klausos sistema. Tyrimas rodo, kad modeliai, sukurti naudojant mašininį mokymąsi, yra žingsnis teisinga linkme, ir tai suteikia mums tam tikrų užuominų, kas gali paversti juos geresniais smegenų modeliais“, – sako smegenų ir pažinimo mokslų docentas Joshas McDermottas. MIT, MIT McGovern smegenų tyrimų instituto ir smegenų, protų ir mašinų centro narys ir vyresnysis tyrimo autorius.
MIT magistrantė Greta Tuckute ir Jenelle Feather PhD ’22 yra pagrindinės atviros prieigos dokumento, kuris šiandien pasirodo m. PLOS biologija.
Klausos modeliai
Gilieji neuroniniai tinklai yra skaičiavimo modeliai, susidedantys iš daugybės informacijos apdorojimo vienetų sluoksnių, kuriuos galima išmokyti naudoti didžiulius duomenų kiekius, kad būtų galima atlikti konkrečias užduotis. Šio tipo modeliai tapo plačiai naudojami daugelyje programų, o neurologai pradėjo tyrinėti galimybę, kad šios sistemos taip pat gali būti naudojamos apibūdinti, kaip žmogaus smegenys atlieka tam tikras užduotis.
„Šie modeliai, sukurti naudojant mašininį mokymąsi, gali tarpininkauti elgesiui tokiu mastu, kuris iš tikrųjų nebuvo įmanomas naudojant ankstesnių tipų modelius, ir tai paskatino domėtis, ar modeliuose pateikiami vaizdai gali užfiksuoti vykstančius dalykus. smegenyse“, – sako Tuckutė.
Kai neuroninis tinklas atlieka užduotį, jo apdorojimo įrenginiai generuoja aktyvinimo šablonus, reaguodami į kiekvieną gaunamą garso įvestį, pvz., žodį ar kitokio tipo garsą. Šiuos modelio įvesties vaizdus galima palyginti su aktyvinimo modeliais, matomais fMRI smegenų skenavimuose, kai žmonės klausosi tos pačios įvesties.
2018 m. McDermottas ir tuometinis magistrantas Alexanderis Kellas pranešė, kad kai jie išmokė neuroninį tinklą atlikti klausos užduotis (pvz., atpažinti žodžius iš garso signalo), modelio sugeneruotos vidinės vaizdinės buvo panašios į tuos, kurie matomi atliekant fMRI nuskaitymus. žmonių, kurie klausosi tų pačių garsų.
Nuo to laiko šie modelių tipai buvo plačiai naudojami, todėl McDermott tyrimų grupė nusprendė įvertinti didesnį modelių rinkinį, kad išsiaiškintų, ar gebėjimas apytiksliai įvertinti žmogaus smegenyse matomus neuroninius vaizdus yra bendra šių modelių savybė.
Šiam tyrimui mokslininkai išanalizavo devynis viešai prieinamus giliųjų neuroninių tinklų modelius, kurie buvo išmokyti atlikti klausos užduotis, taip pat sukūrė 14 savo modelių, pagrįstų dviem skirtingomis architektūromis. Dauguma šių modelių buvo mokomi atlikti vieną užduotį – atpažinti žodžius, atpažinti kalbėtoją, atpažinti aplinkos garsus ir nustatyti muzikos žanrą – o du iš jų buvo mokomi atlikti kelias užduotis.
Kai tyrėjai pristatė šiuos modelius su natūraliais garsais, kurie buvo naudojami kaip stimulai žmogaus fMRI eksperimentuose, jie nustatė, kad vidinio modelio atvaizdai buvo panašūs į tuos, kuriuos sukuria žmogaus smegenys. Modeliai, kurių atvaizdai buvo labiausiai panašūs į tuos, kurie matomi smegenyse, buvo modeliai, kurie buvo mokomi atlikti daugiau nei vieną užduotį ir buvo išmokyti naudoti klausos įvestį, apimantį foninį triukšmą.
„Jei treniruojate modelius triukšmo srityje, jie geriau prognozuoja smegenis, nei jei to nedarote, o tai yra intuityviai pagrįsta, nes daugelis realaus pasaulio klausos yra susiję su triukšmu, ir tai tikriausiai yra kažkas, prie ko klausos sistema yra pritaikyta“, – sakė Feather. sako.
Hierarchinis apdorojimas
Naujasis tyrimas taip pat palaiko idėją, kad žmogaus klausos žievė turi tam tikrą hierarchinės struktūros laipsnį, kuriame apdorojimas yra padalintas į etapus, palaikančius skirtingas skaičiavimo funkcijas. Kaip ir 2018 m. tyrime, mokslininkai nustatė, kad ankstesniuose modelio etapuose sukurtos reprezentacijos labiausiai panašios į pirminėje klausos žievėje matomus vaizdus, o vėlesniuose modelio etapuose sukurti vaizdai labiau panašūs į tuos, kurie generuojami smegenų regionuose už pirminės žievės.
Be to, mokslininkai nustatė, kad modeliai, kurie buvo apmokyti atlikti įvairias užduotis, geriau atkartojo skirtingus klausymo aspektus. Pavyzdžiui, modeliai, išmokyti atlikti su kalba susijusią užduotį, labiau priminė kalbos atrankines sritis.
„Nors modelis matė lygiai tuos pačius mokymo duomenis, o architektūra yra ta pati, kai optimizuojate vieną konkrečią užduotį, galite pamatyti, kad jis selektyviai paaiškina specifines derinimo savybes smegenyse“, – sako Tuckute.
McDermott’s laboratorija dabar planuoja panaudoti savo atradimus ir bandyti sukurti modelius, kurie dar sėkmingiau atkuria žmogaus smegenų reakcijas. Tokie modeliai ne tik padeda mokslininkams sužinoti daugiau apie tai, kaip gali būti organizuojamos smegenys, bet ir gali būti naudojami siekiant sukurti geresnius klausos aparatus, kochlearinius implantus ir smegenų bei mašinų sąsajas.
„Mūsų srities tikslas yra sukurti kompiuterinį modelį, galintį numatyti smegenų reakcijas ir elgesį. Manome, kad jei mums pavyks pasiekti šį tikslą, tai atvers daug durų“, – sako McDermottas.
Tyrimą finansavo Nacionaliniai sveikatos institutai, „Amazon“ stipendija iš Mokslo centro, Tarptautinė doktorantūros stipendija iš Amerikos universitetų moterų asociacijos, „MIT Friends of McGovern Institute Fellowship“, „K. Lisa Yang Integrative Computational Neuroscience“ stipendija. (ICoN) centras MIT, ir Energijos skaičiavimo mokslų katedros absolventų stipendija.
