Memristinės sinapsės demonstravimas. (A) Pagamintų RRAM pavyzdžių mikroskopiniai vaizdai. Atskiros memristinės sinapsės paryškintos (žr. juodus brūkšniuotus kvadratėlius) atitinkamų laidžiųjų elektrodų sankryžose. (B) Liekamojo memristoriaus veikimo schema. Plastiškumo įvykiai sukelia ryškų ir greitą sinapsinio efektyvumo pokytį, stebimą greitojo laiko skalėje (STM), ir mažesnį, bet stabilesnį pokytį lėtojo laiko skalėje (LTM). Sinapsinio efektyvumo pokytis laikui bėgant parodytas (B), sekant (C) taikomą atminties modelį. (D) Schematinis trijų konsolidavimo etapų, pateiktų (B), atitikimas analogiškai stiklinės teorijai. Pirmosios stiklinės skysčio lygio kitimą laike lemia paslėpta antrosios stiklinės būsena. Pirmosios stiklinės skysčio lygis 1 ir 3 etapuose sąmoningai nustatytas neproporcingai dideliu atstumu nuo dvinarės ribos, kad atspindėtų asimetrišką konkrečios memristinės sinapsės reakciją į potencijavimo ir depresijos įvykius. Kreditas: Science Advances (2022). DOI: 10.1126/sciadv.abn7920 Yra žinoma, kad biologinės sinapsės saugo daugybę atminčių viena ant kitos skirtingais laiko intervalais, panašiai kaip ankstyvųjų rankraščių rašymo technikų, vadinamų „palimpsestu”, atvaizdai, kai anotacijos gali būti uždedamos šalia ankstesnio rašto pėdsakų.
Biologinė palimpsesto konsolidacija vyksta per paslėptus biocheminius procesus, kurie reguliuoja sinapsių veiksmingumą skirtingu gyvavimo laikotarpiu. Toks išdėstymas gali palengvinti neveikiančių prisiminimų perrašymą jų nepamirštant, o anksčiau nepastebėtus prisiminimus panaudoti trumpam. Toks funkcionalumas gali būti labai naudingas įterptajam dirbtiniam intelektui, tačiau ši techninė įranga dar turi būti praktiškai pademonstruota.
Naujoje ataskaitoje, kuri dabar paskelbta žurnale Science Advances, Christos Giotis ir Sautamptono universiteto ir Edinburgo universiteto (Jungtinė Karalystė) elektronikos ir informatikos mokslininkų komanda parodė, kaip metalo oksidų lakiųjų memristorių vidinės savybės imituoja biologinio palimpsesto konsolidavimo procesą.
Memristoriai – tai prietaisai, kurie gali reguliuoti elektros srovės srautą grandinėje, kad įsimintų per ją tekantį krūvį. Neįgyvendinant specialių instrukcijų, eksperimentiniai memristoriniai sinapsiai rodė išplėstą dvigubai didesnę talpą, kartu saugodami konsoliduotą atmintį, nes iki šimtų nesusietų trumpalaikių atminčių laikinai ją perrašydavo. Rezultatai išryškino, kaip naujos atminties technologijos gali veiksmingai išplėsti dirbtinio intelekto aparatinės įrangos gebėjimą konceptualizuoti mokymosi atmintį.
Biologinis intelektas vs. dirbtinis intelektas (DI)
Neuroniniai tinklai smegenų žievėje naudoja maždaug nuo 1013 iki 1014 sinapsių įvairiems pažintiniams gebėjimams generuoti, jų perkurtiems analogams reikia tokio pat skaičiaus treniruojamų parametrų kur kas siauresnėms taikymo sritims.
Siekdami paaiškinti šį biologinio ir dirbtinio intelekto mokymosi gebėjimų skirtumą, dirbtinio intelekto tyrėjai teigia, kad sinapsės gali konsoliduoti daugybę prisiminimų, kurie atsiskleidžia skirtingu laiku, panašiai kaip palimpsestas. Nors sinapsės gali atsiminti ilgalaikius plastiškumo įvykius, jos gali išreikšti pakitusias būsenas trumpuoju laikotarpiu. Dėl to smegenys gali naudoti tuos pačius išteklius įvairiems skaičiavimo procesams. Toks lankstumas gali pasiūlyti neuromorfinei aparatinei įrangai svarbų etapą integruojant dirbtinį intelektą į įvairias naujausias, nuolat besimokančias sistemas.
( ) ) STM ir LTM koegzistavimas memristinėse sinapsėse. (A) Šešių memristinių sinapsių, atstovaujančių svorius wn, n ∈ {0,1, …,5}, rinkinys maitinamas plastiškumo instrukcijomis bn pagal modelius M1 ir M2. Oranžinė ir violetinė spalvos reiškia atitinkamai potencijavimą ir depresiją. (B) Atminties pėdsako sutapimo su M1 evoliucija pagal 18 rašymo įvykių eigą. Šimtaprocentinis sutapimas reiškia tobulą M1 išsaugojimą, o kadangi M1 ir M2 yra dvejetainiai ir vienas kitam ortogonalūs, 0 % sutapimas reiškia tobulą M2 išsaugojimą. (C) Tikimybė prisiminti bent x % M1, kur x ∈ {50%, 80%, 100%}. Kreditas: Science Advances (2022). DOI: 10.1126/sciadv.abn7920 Eksperimentų metu tyrėjai anksčiau sukūrė sinapses, kurios daugiausia pagrįstos fazės pokyčio atminties medžiagomis, ir rezistyvinės atsitiktinės prieigos atminties (RRAM) pagrindu veikiančius memristorius, kad įgyvendintų metaplastiškumą ir taip sureguliuotų dirbtinių sinapsių mokymosi greitį neuroniniuose tinkluose.
Giotis ir komanda šį tyrimą sukūrė remdamiesi ankstesniais darbais, siekdami sujungti sinapsinį plastiškumą su automatine konsolidacija ir išmoktų prisiminimų apsauga nuo sinapsinių modifikacijų – esminis veiksmingo mokymosi internetu elementas. Komanda ištyrė RRAM nepastovumo savybes, kad imituotų paslėptus biocheminius procesus, palengvinančius palimpsesto konsolidavimą biologiniame intelekte. Jie realizavo du konsoliduotus laiko mastelius viename įrenginyje, kad sukurtų technologiją, galinčią apsaugoti stiprią atmintį jos ilgalaikėje saugykloje, pasižyminčią unikaliomis savybėmis, be ypatingų nukrypimų ar funkcinio sudėtingumo.
Kandidatinės nepastoviosios atmintys palimpsesto konsolidavimui
Biologinio palimpsesto konsolidavimo procese daroma prielaida, kad paslėpti kintamieji, tokie kaip sudėtingi biocheminiai procesai, gali sukelti sinapsinio efektyvumo pokyčius skirtinguose laiko masteliuose. Nors šie procesai dar nėra kartografuoti, jų fenotipinis atsakas gali būti modeliuojamas per skysčių difuziją. Mokslininkai naudojo titano dioksido pagrindu pagamintus lakiuosius memristinius prietaisus, kad ištirtų palimpsesto konsolidavimo galimybes, ir pademonstravo šį procesą vienoje memristinėje sinapsėje. Rezultatai parodė, kaip dirbtinė sinapsė apsaugojo paslėptą atmintį, kartu pasilikdama galimybę lanksčiai išreikšti kitą atmintį jos viršuje ir padvigubinti atminties talpą. Dėl didelio lakiųjų ir nelakiųjų plastiškumo pokyčių santykio, kuris suteikė pagrindinį sistemos funkcinį parametrą, produktas tapo tinkamu kandidatu.
( ) ) Atminties veikimas esant nuolatinei stimuliacijai. (A) LTM ir po jos sekančių STM signalų raida. Kiekvienas atsitiktinai pasirinktas STM trumpam pranoksta LTM, kol pastarasis vėl ima dominuoti. Nykstantys signalai išlaiko didesnius nei atsitiktiniai sutapimus (jie išlieka virš 50% triukšmo minimumo). (B) Visų atsitiktinių STM stebėjimas po LTM konsolidavimo. Raudoni regionai rodo, kad viso laiko STMx signalas yra stipresnis už LTM; mėlyni regionai rodo priešingai. (C) Visų STM bendrojo gyvavimo laiko pasiskirstymo histograma kairėje y ašyje. Atitinkamos tikimybės tankio funkcijos (PDF) ir kumuliacinės pasiskirstymo funkcijos (CDF) kreivės pavaizduotos per dešinę y ašį. (D) Svertinė tikėtina STM gyvavimo trukmė skirtingiems LTM konsolidavimo stiprumams „s” Žalia „s = 2” linija atitinka atminties duomenis, pateiktus A-C punktuose. Kreditas: Science Advances (2022). DOI: 10.1126/sciadv.abn7920 Atminties sistemos veikimas
Giotis ir komanda sukonstravo atminties tinklą, sudarytą iš šešių sinapsių, kad sustiprintų, arba konsoliduotų, du konkuruojančius signalus. Jie iliustravo eksperimentinę sąrangą, kurioje kiekvienas atminties bitas buvo įrašytas į atitinkamą memristinę sinapsę, ir tyrė, kaip abu atminties signalai sąveikavo sinapsėse. Sinapsės cikliškai pereidavo tam tikrus konsolidavimo etapus, o mokslininkai toliau makroskopiškai tyrinėjo atminties veikimą. Jie priskyrė vis sėkmingesnį konkrečios atminties pateikimą jos gebėjimui perrašyti konkuruojančią atmintį, kai lemiamą įtaką turėjo triukšmas.
Jie atliko papildomus eksperimentus ir modeliavimą, kad kiekybiškai nustatytų, kaip triukšmas veikia atminties našumą, o rezultatai parodė, kad įrenginio charakteristikos skatino palimpsesto konsolidavimą, suteikdamos galimybę grįžti iš trumpalaikės atminties būsenų į ilgalaikės atminties būsenas. Tinklas taip pat parodė gebėjimą žinomumo prisiminimuose nustatyti, ar anksčiau buvo pateikti keli prisiminimai. Trumpalaikių prisiminimų gyvavimo laiką jie apibūdino kaip laikotarpį, kai trumpalaikės atminties signalas dominuoja ilgalaikėje atmintyje. Šis darbas atskleidžia kompromisą tarp talpos ir prisiminimo tikslumo, kartu su metaplastinėmis savybėmis, konkrečiai realizuojamomis per sinapses. Tyrėjai parodė, kaip aukštas konsolidacijos lygis, atrodo, apsaugo ilgalaikę atmintį nuo šimtų įeinančių trumpalaikių prisiminimų.
( ) Dvimačių vaizdų konsolidavimas. (A) Operacijų tvarkaraštis: Vaizdai į atmintį įrašomi kas 10 s. Atsitiktinės triukšmingos LTM reprezentacijos (atitinkamai NLTM ir LTM) įrašomos tris kartus, kol trumpalaikėje atmintyje (ST1,2) įrašomi du vaizdai po vieną kartą. (B) Pirminiai vaizdų atminties signalai. Atsitiktinai parenkamas NLTM atvaizdas. (C) Laikinės atminties būsenų momentinės nuotraukos. Pradinė momentinė nuotrauka atitinka paskutinį stebėjimą prieš matant ST1. Laikas nurodomas po to momento. Buvo pažymėti momentai, kai užrašomi du trumpalaikiai signalai. Abiem atvejais kiekvieno trumpalaikio signalo triukšmingas pėdsakas atmintyje pasiekiamas iš karto po stebėjimo. Paskui trumpalaikis signalas palaipsniui degraduoja, o LTM vėl atkuriamas atmintyje. (D) LTM signalų persidengimo kontūras, kaip jis vystosi pagal (A) pavaizduotą laiko juostą. Pradinis persidengimas atspindi atitinkamą triukšmo lygį. Eksperimentas kartojamas esant skirtingiems NLTM triukšmo lygiams. Net jei LTM versija be triukšmo niekada nepateikiama sistemai kaip tokiai, atmintis, kuri pasiekia aukštesnį nei bazinis lygis, po konsolidacijos pabaigos persidengia su LTM. Šis didelis persidengimas išlieka net po to, kai tinklas mato ST1 ir ST2. Kreditas: Science Advances (2022). DOI: 10.1126/sciadv.abn7920 Regimoji darbinė atmintis
Komanda toliau tyrinėjo regimąją atmintį, remdamasi trumpalaikio dėmesio ir neprižiūrimos atminties konstravimo sistemoje koncepcijomis. Eksperimentų metu jie sėmėsi įkvėpimo iš esamų darbinės atminties teorijų, kad sukonstruotų regos tinklą, kurio trumpalaikis dėmesys papildo jo atminties galimybes. Jie taip pat tyrė, ar sistema gali nustatyti statistinį reikšmingumą be priežiūros. Palyginę ilgalaikės atminties pėdsaką su po to sekusiomis momentinėmis nuotraukomis, jie pastebėjo, kad tinklas gali automatiškai denoizuoti konsoliduotus signalus.
Outlook
Tokiu būdu Christos Giotis ir kolegos sutelkė dėmesį į dvinares sinapses, kurios, kaip žinoma, padeda mokytis matematiniuose modeliuose ir gilaus mokymosi algoritmuose. Intensyvaus dvikrypčio nepastovumo ir mažų nepastovių likučių sąveika prisidėjo prie prietaiso palimpsesto gebėjimo. Būsimi tyrimų įgyvendinimo būdai neapsiriboja pasirinkta titano dioksido technologijos medžiaga ir gali būti tiriami atsižvelgiant į konkretaus taikymo poreikius. Įrenginys pademonstravo perėjimus iš ilgalaikės atminties į trumpalaikę atmintį, kartu primindamas trumpalaikio dėmesio mechanizmus, žadančius sudėtingesnių dirbtinio intelekto algoritmų kūrimą. Dvigubas prietaisų laikinis pajėgumas primena bistabilųjį perjungimą, kuris, kaip žinoma, valdo sinapsinį plastiškumą. Pagrindinio plastiškumo funkcionalumą komanda prilygina biologiniam procesui – nuo kalcio ir kalmodulino priklausomo baltymo kinazės II mechanizmo; pirminiam biologiniam molekulinės atminties mechanizmui.
Daugiau informacijos: Christos Giotis et al, Palimpsest memories stored in memristive synapses, Science Advances (2022). DOI: 10.1126/sciadv.abn7920
Marcus K Benna et al, Computational principles of synaptic memory consolidation, Nature Neuroscience (2016). DOI: 10.1038/nn.4401
© 2022 Science X Network
Citation: Įterptinio dirbtinio intelekto aprūpinimas palimpsesto atminties saugojimo pajėgumais (2022, liepa 14) gauta rugpjūčio 1 d. 2022 iš https://techxplore.com/news/2022-07-embedded-artificial-intelligence-capacity-palimpsest.html
Šiam dokumentui taikomos autorių teisės. Be raštiško leidimo negalima atgaminti jokios jo dalies, išskyrus sąžiningą naudojimą asmeninių studijų ar mokslinių tyrimų tikslais. Turinys pateikiamas tik informaciniais tikslais.
