Dirbtiniai neuroniniai tinklai, visur esantys mašininio mokymosi modeliai, kuriuos galima išmokyti atlikti daugybę užduočių, taip vadinami, nes jų architektūra įkvėpta būdo, kaip biologiniai neuronai apdoroja informaciją žmogaus smegenyse.
Maždaug prieš šešerius metus mokslininkai atrado naujo tipo galingesnio neuroninio tinklo modelį, žinomą kaip transformatorius. Šie modeliai gali pasiekti precedento neturintį našumą, pavyzdžiui, generuojant tekstą iš raginimų beveik žmogaus tikslumu. Pavyzdžiui, transformatorius yra AI sistemų, tokių kaip „ChatGPT“ ir „Bard“, pagrindas. Nors transformatoriai yra neįtikėtinai veiksmingi, jie taip pat yra paslaptingi: skirtingai nuo kitų smegenų įkvėptų neuroninių tinklų modelių, nebuvo aišku, kaip juos sukurti naudojant biologinius komponentus.
Dabar mokslininkai iš MIT, MIT-IBM Watson AI Lab ir Harvardo medicinos mokyklos sukūrė hipotezę, kuri gali paaiškinti, kaip būtų galima sukurti transformatorių naudojant biologinius smegenų elementus. Jie teigia, kad biologinis tinklas, sudarytas iš neuronų ir kitų smegenų ląstelių, vadinamų astrocitais, galėtų atlikti tą patį pagrindinį skaičiavimą kaip ir transformatorius.
Naujausi tyrimai parodė, kad astrocitai, ne neuroninės ląstelės, kurių gausu smegenyse, bendrauja su neuronais ir dalyvauja kai kuriuose fiziologiniuose procesuose, pavyzdžiui, reguliuojant kraujotaką. Tačiau mokslininkams vis dar trūksta aiškaus supratimo apie tai, ką šios ląstelės daro skaičiavimo būdu.
Su nauju tyrimu, kuris šią savaitę buvo paskelbtas atviros prieigos formatu Nacionalinės mokslų akademijos darbaimokslininkai ištyrė astrocitų vaidmenį smegenyse iš skaičiavimo perspektyvos ir sukūrė matematinį modelį, rodantį, kaip juos kartu su neuronais galima panaudoti kuriant biologiškai patikimą transformatorių.
Jų hipotezė suteikia įžvalgų, kurios gali paskatinti būsimus neurologijos tyrimus, kaip veikia žmogaus smegenys. Tuo pačiu metu tai galėtų padėti mašininio mokymosi tyrėjams paaiškinti, kodėl transformatoriai yra tokie sėkmingi atliekant įvairias sudėtingas užduotis.
„Smegenys yra daug pranašesnės už net geriausius dirbtinius neuroninius tinklus, kuriuos sukūrėme, bet mes iš tikrųjų nežinome, kaip tiksliai veikia smegenys. Mąstymas apie biologinės aparatinės įrangos ir didelio masto dirbtinio intelekto tinklų ryšius turi mokslinę vertę. Tai yra neuromokslas dirbtiniam intelektui ir dirbtinis intelektas neuromokslui“, – sako Dmitrijus Krotovas, MIT-IBM Watson AI laboratorijos darbuotojas ir vyresnysis tyrimo autorius.
Prie Krotovo prisijungia pagrindinis autorius Leo Kozachkovas, MIT Smegenų ir pažinimo mokslų katedros postdoc; ir Ksenia V. Kastanenka, Harvardo medicinos mokyklos neurobiologijos docentė ir Masačusetso bendrųjų tyrimų instituto tyrėjo asistentė.
Biologinis neįmanomas tampa tikėtinas
Transformatoriai veikia kitaip nei kiti neuroninių tinklų modeliai. Pavyzdžiui, pasikartojantis neuroninis tinklas, išmokytas apdoroti natūralią kalbą, kiekvieną sakinio žodį palygintų su vidine būsena, kurią nustato ankstesni žodžiai. Kita vertus, transformatorius lygina visus sakinio žodžius iš karto, kad sukurtų numatymą, procesą, vadinamą dėmesiu į save.
Kad atidumas veiktų, transformatorius turi išsaugoti visus žodžius tam tikroje atmintyje, aiškina Krotovas, tačiau tai neatrodė biologiškai įmanoma dėl neuronų bendravimo būdo.
Tačiau prieš kelerius metus mokslininkai, tyrinėję šiek tiek kitokį mašininio mokymosi modelį (žinomą kaip tankioji susietoji atmintis), suprato, kad šis savęs dėmesio mechanizmas gali atsirasti smegenyse, tačiau tik tuo atveju, jei būtų ryšys tarp bent trijų neuronų.
„Skaičius trys man tikrai pasirodė, nes neurologijos srityje žinoma, kad šios ląstelės, vadinamos astrocitais, kurios nėra neuronai, sudaro trijų krypčių ryšius su neuronais, vadinamomis trišalėmis sinapsėmis“, – sako Kozačkovas.
Kai susisiekia du neuronai, presinapsinis neuronas siunčia chemines medžiagas, vadinamas neurotransmiteriais, per sinapsę, jungiančią jį su postsinapsiniu neuronu. Kartais astrocitas taip pat yra prijungtas – jis apvynioja ilgą, ploną čiuptuvą aplink sinapsę, sukurdamas trišalę (trijų dalių) sinapsę. Vienas astrocitas gali sudaryti milijonus trišalių sinapsių.
Astrocitas surenka kai kuriuos neurotransmiterius, kurie teka per sinapsinę jungtį. Tam tikru momentu astrocitas gali signalizuoti atgal į neuronus. Kadangi astrocitai veikia daug ilgiau nei neuronai – jie sukuria signalus lėtai didindami kalcio atsaką, o vėliau jį mažindami – šios ląstelės gali laikyti ir integruoti informaciją, perduodamą joms iš neuronų. Tokiu būdu astrocitai gali sudaryti tam tikrą atminties buferį, sako Krotovas.
„Jei galvoji apie tai iš šios perspektyvos, astrocitai yra labai natūralūs būtent tiems skaičiavimams, kurių mums reikia norint atlikti dėmesio operaciją transformatoriuose“, – priduria jis.
Neuronų-astrocitų tinklo kūrimas
Remdamiesi šia įžvalga, mokslininkai iškėlė hipotezę, kad astrocitai gali turėti įtakos transformatorių skaičiavimui. Tada jie nusprendė sukurti matematinį neuronų ir astrocitų tinklo modelį, kuris veiktų kaip transformatorius.
Jie ėmėsi pagrindinės matematikos, kurią sudaro transformatorius, ir sukūrė paprastus biofizinius modelius, kaip astrocitai ir neuronai veikia bendraudami smegenyse, remdamiesi giliu pasinerimu į literatūrą ir neurologų bendradarbių rekomendacijomis.
Tada jie tam tikrais būdais derino modelius, kol pasiekė neuronų ir astrocitų tinklo lygtį, apibūdinančią transformatoriaus dėmesį į save.
„Kartais pastebėdavome, kad tam tikri dalykai, kurių norėjome būti tikri, negali būti patikimai įgyvendinti. Taigi, turėjome galvoti apie sprendimus. Straipsnyje yra keletas dalykų, kurie yra labai kruopštūs transformatoriaus architektūros aproksimacijos, kad būtų galima ją suderinti biologiškai patikimu būdu“, – sako Kozachkovas.
Atlikdami analizę, mokslininkai parodė, kad jų biofizinis neuronų-astrocitų tinklas teoriškai atitinka transformatorių. Be to, jie atliko skaitmeninį modeliavimą, tiekdami vaizdus ir teksto pastraipas į transformatorių modelius ir lygindami atsakus su jų imituojamo neuronų-astrocitų tinklo atsakais. Abu į raginimus reagavo panašiai, patvirtindami savo teorinį modelį.
„Daugiau nei šimtmetį smegenų įrašų išlikę tylūs, astrocitai yra viena gausiausių, tačiau mažiau ištirtų ląstelių smegenyse. Galimybė išlaisvinti kitos mūsų smegenų pusės skaičiavimo galią yra milžiniška“, – sako Rutgerso universiteto kompiuterių mokslų docentas Konstantinos Michmizos, nedalyvavęs šiame darbe. „Šis tyrimas atveria žavią kartotinę kilpą – nuo supratimo, kaip iš tikrųjų smegenyse gali atsirasti protingas elgesys, iki žlugdančių hipotezių pavertimo naujais įrankiais, kurie demonstruoja žmogaus intelektą.
Kitas mokslininkų žingsnis – pereiti nuo teorijos prie praktikos. Jie tikisi palyginti modelio prognozes su tomis, kurios buvo pastebėtos atliekant biologinius eksperimentus, ir panaudoti šias žinias savo hipotezei patikslinti arba galbūt paneigti.
Be to, viena iš jų tyrimo pasekmių yra ta, kad astrocitai gali būti įtraukti į ilgalaikę atmintį, nes tinklas turi saugoti informaciją, kad galėtų ją veikti ateityje. Papildomi tyrimai galėtų toliau tirti šią idėją, sako Krotovas.
„Dėl daugelio priežasčių astrocitai yra nepaprastai svarbūs pažinimui ir elgesiui, ir jie veikia iš esmės skirtingai nei neuronai. Mano didžiausia viltis dėl šio dokumento yra ta, kad jis katalizuoja daugybę skaičiavimo neurologijos tyrimų, susijusių su gliuzinėmis ląstelėmis, ypač astrocitais“, – priduria Kozachkovas.
Šį tyrimą iš dalies palaikė „BrightFocus Foundation“ ir Nacionalinis sveikatos institutas.
