Mokslininkams plečiant mašininio mokymosi ribas, vis sudėtingesniems neuroninių tinklų modeliams mokyti reikia vis daugiau laiko, energijos ir pinigų. Nauja dirbtinio intelekto sritis, vadinama analoginiu giliuoju mokymusi, žada spartesnius skaičiavimus, sunaudojant tik dalį energijos
Programuojami rezistoriai yra pagrindiniai analoginio giliojo mokymosi statybiniai elementai, panašiai kaip tranzistoriai yra pagrindiniai skaitmeninių procesorių elementai. Kartodami programuojamų rezistorių masyvus sudėtingais sluoksniais, mokslininkai gali sukurti analoginių dirbtinių „neuronų” ir „sinapsių” tinklą, kuris atlieka skaičiavimus kaip skaitmeninis neuronų tinklas. Šį tinklą galima apmokyti atlikti sudėtingas dirbtinio intelekto užduotis, pavyzdžiui, atpažinti vaizdus ir apdoroti natūralią kalbą.
Daugiadalykė MIT mokslininkų komanda nusprendė padidinti anksčiau sukurto žmogaus sukurto analoginio sinapsės tipo greičio ribas. Gamybos procese jie panaudojo praktišką neorganinę medžiagą, kuri leidžia jų prietaisams veikti 1 mln. kartų greičiau nei ankstesnės versijos, o tai taip pat maždaug 1 mln. kartų greičiau nei žmogaus smegenyse esančios sinapsės
Be to, dėl šios neorganinės medžiagos rezistorius tampa itin efektyviai energiją vartojantis. Skirtingai nuo ankstesnėje jų prietaiso versijoje naudotų medžiagų, naujoji medžiaga yra suderinama su silicio gamybos metodais. Šis pokytis leido pagaminti nanometrinio mastelio įrenginius ir gali atverti kelią jų integravimui į komercinę kompiuterinę įrangą, skirtą gilaus mokymosi taikymams
. „Turėdami šią svarbią įžvalgą ir labai galingus nanogamybos metodus, kuriuos turime MIT.nano, galėjome sujungti šias dalis ir parodyti, kad šie įrenginiai iš esmės yra labai greiti ir veikia esant priimtinai įtampai”, – sako vyresnysis autorius Jesús A. del Alamo, MIT Elektros inžinerijos ir informatikos katedros (EECS) Donnerio profesorius. „Šis darbas iš tiesų leido pasiekti tokį lygį, kad dabar šie prietaisai atrodo tikrai perspektyvūs ir tinkami naudoti ateityje.”
„Prietaiso veikimo mechanizmas – elektrocheminis mažiausio jono – protono – įterpimas į izoliacinį oksidą, siekiant moduliuoti jo elektroninį laidumą. Kadangi dirbame su labai plonais prietaisais, galėtume pagreitinti šio jono judėjimą, naudodami stiprų elektrinį lauką, ir pastūmėti šiuos joninius prietaisus į nanosekundžių veikimo režimą, – aiškina vyresnysis autorius Bilge Yildizas, Breene M. Kerr profesorius Branduolinių mokslų ir inžinerijos bei Medžiagų mokslo ir inžinerijos fakultetuose.
„Veiksmo potencialas biologinėse ląstelėse kyla ir krenta milisekundžių laiko skalėje, nes įtampų skirtumas yra apie 0,5 sekundės.1 volto riboja vandens stabilumas, – sako vyresnysis autorius Ju Li, Battelle Energy Alliance Branduolinių mokslų ir inžinerijos profesorius bei Medžiagų mokslo ir inžinerijos profesorius, – Čia mes pritaikėme iki 10 voltų įtampą ant specialios kietos stiklo plėvelės, kurios storis yra nano mastelio ir kuri praleidžia protonus, jos visam laikui nepažeisdami. Ir kuo stipresnis laukas, tuo greičiau veikia joniniai įrenginiai.”
Šie programuojami rezistoriai labai padidina neuronų tinklo apmokymo greitį, kartu drastiškai sumažindami išlaidas ir energiją šiam apmokymui atlikti. Tai galėtų padėti mokslininkams daug greičiau sukurti gilaus mokymosi modelius, kuriuos vėliau būtų galima taikyti tokiose srityse kaip savavaldžiai automobiliai, sukčiavimo aptikimas ar medicininių vaizdų analizė.”
„Kai turėsite analoginį procesorių, nebereikės mokyti tinklų, kuriuos kuria visi kiti. Jūs mokysite beprecedenčio sudėtingumo tinklus, kurių niekas kitas negali sau leisti, ir todėl gerokai juos visus pralenksite. Kitaip tariant, tai ne greitesnis automobilis, tai kosminis laivas”, – priduria pagrindinis autorius ir MIT doktorantas Muratas Onenas (Murat Onen).
Bendraautoriai: Medžiagų mokslo ir inžinerijos katedros profesorė Ellen Swallow Richards Frances M. Ross, doktorantai Nicolas Emond ir Baoming Wang bei EECS magistrantas Difei Zhang. Tyrimai šiandien paskelbti žurnale Science.
Accelerating deep learning
Analoginis gilusis mokymasis yra greitesnis ir energetiškai efektyvesnis už skaitmeninį analogą dėl dviejų pagrindinių priežasčių. „Pirma, skaičiavimai atliekami atmintyje, todėl didžiuliai duomenų krūviai nėra perduodami pirmyn ir atgal iš atminties į procesorių.” Analoginiai procesoriai taip pat atlieka operacijas lygiagrečiai. Jei matricos dydis padidėja, analoginiam procesoriui nereikia daugiau laiko naujoms operacijoms atlikti, nes visi skaičiavimai vyksta vienu metu.”
Pagrindinis naujosios MIT analoginių procesorių technologijos elementas vadinamas protoniniu programuojamuoju rezistoriumi. Šie rezistoriai, matuojami nanometrais (vienas nanometras yra viena milijardinė metro dalis), išdėstyti masyve, panašiai kaip šachmatų lentoje.
Žmogaus smegenyse mokymasis vyksta stiprėjant ir silpnėjant neuronų jungtims, vadinamoms sinapsėmis. Giliuosiuose neuroniniuose tinkluose jau seniai pritaikyta ši strategija, kai tinklo svoriai programuojami taikant mokymo algoritmus. Šio naujojo procesoriaus atveju, didinant ir mažinant protonų rezistorių elektrinį laidumą, sudaromos sąlygos analoginiam mašininiam mokymuisi
Laidumas valdomas protonų judėjimu. Norint padidinti laidumą, į rezistoriaus kanalą stumiama daugiau protonų, o norint sumažinti laidumą, protonai ištraukiami. Tam naudojamas elektrolitas (panašus į baterijos elektrolitą), kuris praleidžia protonus, bet blokuoja elektronus.
Siekdami sukurti itin greitą ir labai efektyviai energiją vartojantį programuojamą protoninį rezistorių, mokslininkai ieškojo įvairių elektrolito medžiagų. Nors kituose prietaisuose buvo naudojami organiniai junginiai, Onenas sutelkė dėmesį į neorganinį fosfosilikatinį stiklą (PSG).
PSG iš esmės yra silicio dioksidas, kuris yra miltelių pavidalo sausiklis, randamas mažuose maišeliuose, esančiuose dėžutėje su naujais baldais, kad pašalintų drėgmę. Jis tiriamas kaip protonų laidininkas drėgnomis sąlygomis kuro elementams. Jis taip pat yra žinomiausias silicio apdirbimo procese naudojamas oksidas. Norint pagaminti PSG, į silicį pridedama truputis fosforo, kad jis įgytų specialių savybių, tinkamų laidumui protonams.
Onenas iškėlė hipotezę, kad optimizuotas PSG galėtų pasižymėti dideliu protonų laidumu kambario temperatūroje, nenaudojant vandens, todėl būtų idealus kietasis elektrolitas šiam taikymui. Jis buvo teisus.
Stebinantis greitis
PSG leidžia itin greitai judėti protonams, nes jame yra daugybė nanometrinio dydžio porų, kurių paviršiuje yra protonų difuzijos keliai. Jis taip pat gali atlaikyti labai stiprius impulsinius elektrinius laukus. Tai labai svarbu, aiškina Onenas, nes naudojant didesnę įtampą, protonai gali judėti akinančiu greičiu.
„Greitis tikrai nustebino. Įprastai tokių ekstremalių laukų prietaisams netaikytume, kad jie nepavirstų pelenais. Tačiau vietoj to protonai galiausiai pradėjo judėti milžinišku greičiu per prietaisų steką, konkrečiai milijoną kartų greičiau, palyginti su tuo, ką turėjome anksčiau. Ir šis judėjimas nieko negadina dėl mažo protonų dydžio ir mažos masės. Tai beveik panašu į teleportavimą”, – sako jis.
„Nanosekundžių laiko skalė reiškia, kad esant tokiam ekstremaliam laukui esame arti balistinio ar net kvantinio tuneliavimo režimo protonams”, – priduria Li.
Kadangi protonai nepažeidžia medžiagos, rezistorius gali veikti milijonus ciklų be gedimų. Šis naujas elektrolitas leido sukurti programuojamą protoninį rezistorių, kuris yra milijoną kartų greitesnis už ankstesnį jų prietaisą ir gali efektyviai veikti kambario temperatūroje, o tai svarbu norint jį įdiegti į kompiuterinę įrangą
Dėl PSG izoliacinių savybių protonams judant per medžiagą beveik neteka elektros srovė. Dėl to prietaisas yra labai efektyvus energijos atžvilgiu, priduria Onen.
Dabar, kai jie įrodė šių programuojamų rezistorių efektyvumą, tyrėjai planuoja juos pertvarkyti didelės apimties gamybai, sako del Alamo. Tada jie galės ištirti rezistorių masyvų savybes ir padidinti jų mastą, kad juos būtų galima įmontuoti į sistemas.
Kartu jie planuoja ištirti medžiagas, kad pašalintų kliūtis, kurios riboja įtampą, reikalingą efektyviam protonų perdavimui į elektrolitą, per jį ir iš jo.
„Kita įdomi kryptis, kurią gali suteikti šie joniniai prietaisai, yra energiją taupanti aparatinė įranga, leidžianti emuliuoti neuronines grandines ir sinapsinio plastiškumo taisykles, kurios išvedamos neuromoksluose, ne tik analoginiuose giliuosiuose neuroniniuose tinkluose. Mes jau pradėjome tokį bendradarbiavimą su neuromokslais, kurį remia MIT „Quest for Intelligence”, – priduria Yildizas.
„Mūsų bendradarbiavimas bus labai svarbus siekiant inovacijų ateityje. Kelias į priekį dar bus labai sudėtingas, bet kartu ir labai įdomus”, – sako del Alamo.
„Interkalacijos reakcijos, tokios kaip ličio jonų akumuliatoriuose, buvo plačiai tyrinėjamos atminties įrenginiuose. Šis darbas rodo, kad protonų pagrindu veikiantys atminties įrenginiai pasižymi įspūdingu ir stebinančiu perjungimo greičiu ir ištverme”, – sako Stenfordo universiteto medžiagų mokslo ir inžinerijos docentas Williamas Chueh, kuris nedalyvavo atliekant šį tyrimą. „Tai padeda pagrindus naujai atminties įrenginių klasei, skirtai gilaus mokymosi algoritmams.”
„Šis darbas rodo reikšmingą proveržį biologiškai įkvėptų rezistyvinės atminties įrenginių srityje. Šie visiškai kietos būsenos protonų įrenginiai pagrįsti rafinuotu protonų valdymu atominiu masteliu, panašiu į biologines sinapses, tačiau keliomis eilėmis greitesniu greičiu”, – sako šiame darbe nedalyvavusi Karnegio Mellono universiteto Teddy ir Wiltono Hawkinsų nusipelniusi profesorė, Medžiagų mokslo ir inžinerijos katedros vedėja Elizabeth Dickey. „Dėkoju tarpdisciplininei MIT komandai už šį įdomų pasiekimą, kuris leis sukurti ateities kartos skaičiavimo įrenginius.”
Šiuos tyrimus iš dalies finansuoja MIT-IBM „Watson AI Lab”