Neuromoduliacija smegenyse. (A) Keturių tipų neuromoduliatoriai ir jų biologiniai keliai. (B) Netiesinė neuromoduliacija. (C) Neuromoduliacija paįvairina vietinį plastiškumą. Kreditas: CASIA Katastrofiškas užmiršimas, įgimta atgalinio sklaidos mokymosi algoritmų problema, yra sudėtinga dirbtinio ir smailėjančio neuroninio tinklo (ANN ir SNN) tyrimų problema.
Smegenys šiek tiek išsprendė šią problemą, naudodamos daugialypį plastiškumą. Pagal visuotinį reguliavimą tam tikrais būdais neuromoduliatoriai yra išsklaidyti tiksliniuose smegenų regionuose, kur neuromoduliatoriai lokaliai moduliuoja sinapsinį ir neuronų plastiškumą. Konkrečiai, neuromoduliatoriai modifikuoja neuronų ir sinapsinio plastiškumo pajėgumus ir savybes. Ši modifikacija žinoma kaip metaplastiškumas.
Xu Bo vadovaujami Kinijos mokslų akademijos Automatikos instituto mokslininkai ir jų bendradarbiai pasiūlė naują smegenų įkvėptą mokymosi metodą (NACA), pagrįstą nuo nervų moduliacijos priklausomu plastiškumu, kuris gali padėti sušvelninti katastrofišką užmarštį ANN ir SNN. . Tyrimas buvo paskelbtas m Mokslo pažanga rugpjūčio 25 d.
Šis metodas pagrįstas sudėtingo neuroninio moduliavimo kelio smegenyse struktūra ir remiasi matematiniu neuroninio moduliavimo kelio modeliu numatomos matricos kodavimo forma. Gavus stimulo signalą, generuojami skirtingo stiprumo dopamino priežiūros signalai, kurie dar labiau veikia vietinį sinapsinį ir neuronų plastiškumą.
NACA klasės nuolatinio mokymosi užduotyje. (A, B) Neuromoduliacija tiek vietiniam neuronų plastiškumui, tiek sinaptiniam plastiškumui. (CG) NACA našumas, palyginti su EWC ir BP. Kreditas: CASIA NACA palaiko grynųjų tiekimo į priekį srauto mokymosi metodų naudojimą ANN ir SNN mokymui. Naudodamas visuotinę dopamino difuzijos palaikymą, jis sinchronizuojasi su įvesties signalu ir netgi skleidžia informaciją pirmyn prieš įvesties signalą. Kartu su selektyviu nuo smaigalio laiko priklausomo plastiškumo koregavimu, NACA turi didelių pranašumų greitos konvergencijos ir katastrofiško pamiršimo mažinimo srityje.
Atlikdama dvi tipines vaizdo ir kalbos modelio atpažinimo užduotis, tyrimo grupė įvertino NACA algoritmo tikslumą ir skaičiavimo išlaidas. Atliekant bandymus naudojant standartinius vaizdo klasifikavimo (MNIST) ir kalbos atpažinimo (TIDigits) duomenų rinkinius, NACA pasiekė didesnį klasifikavimo tikslumą (apie 1,92%) ir mažesnes mokymosi energijos sąnaudas (apie 98%).
Be to, tyrimų grupė daugiausia dėmesio skyrė NACA nuolatinio mokymosi gebėjimų tikrinimui, kai vyksta nuolatinis mokymasis klasėje, ir išplėtė nervų moduliaciją iki neuronų plastiškumo diapazono.
Atliekant penkias pagrindines nepertraukiamo mokymosi užduotis iš skirtingų kategorijų (įskaitant ištisinius MNIST ranka rašytus skaičius, ištisinius abėcėlės ranka rašytas raides, ištisinius MathGreek ranka rašytus matematinius simbolius, nuolatinius Cifar-10 natūralius vaizdus ir nuolatinius DvsGesture dinaminius gestus), NACA parodė mažesnes energijos sąnaudas, palyginti su sklidimu atgal. ir elastingo svorio konsolidavimo algoritmus ir gali labai sušvelninti katastrofiškas pamiršimo problemas.
„NACA yra biologiškai patikimas visuotinis optimizavimo algoritmas, kuris naudoja makroskopinį plastiškumą, kad toliau „moduliuotų“ vietinį plastiškumą, kuris gali būti vertinamas kaip „plastiškumo plastiškumo“ metodas, turintis intuityvų funkcinį suderinamumą su „mokykis mokytis“ ir „meta mokymosi“. “ – sakė prof. Xu.
Daugiau informacijos: Tielin Zhang ir kt., Smegenų įkvėptas algoritmas, kuris sumažina katastrofišką dirbtinių ir dygliuotų neuroninių tinklų pamiršimą su mažomis skaičiavimo sąnaudomis, Mokslo pažanga (2023). DOI: 10.1126/sciadv.adi2947
Citata: Smegenų įkvėptas mokymosi algoritmas realizuoja metaplastiškumą dirbtinuose ir smailėjančiuose neuroniniuose tinkluose (2023 m. rugsėjo 1 d.), gautas 2023 m. rugsėjo 1 d. iš https://techxplore.com/news/2023-09-brain-inspired-algorithm-metaplasticity-artificial-spiking .html
Šis dokumentas yra saugomas autorių teisių. Išskyrus bet kokius sąžiningus sandorius privačių studijų ar mokslinių tyrimų tikslais, jokia dalis negali būti atkuriama be raštiško leidimo. Turinys pateikiamas tik informaciniais tikslais.
