Skaičiavimas yra vingio taške. Moore’o dėsnis, numatantis, kad tranzistorių skaičius elektroninėje lustoje kasmet padvigubės, lėtėja dėl fizinių apribojimų montuoti daugiau tranzistorių ant prieinamų mikroschemų. Šis kompiuterių galios padidėjimas lėtėja, nes auga didelio našumo kompiuterių, galinčių palaikyti vis sudėtingesnius dirbtinio intelekto modelius, paklausa. Dėl šio nepatogumo inžinieriai pradėjo ieškoti naujų būdų, kaip išplėsti savo mašinų skaičiavimo galimybes, tačiau sprendimas lieka neaiškus.
Fotoninis kompiuteris yra viena iš galimų priemonių, padedančių patenkinti augančius mašininio mokymosi modelių skaičiavimo poreikius. Užuot naudojusios tranzistorius ir laidus, šios sistemos naudoja fotonus (mikroskopines šviesos daleles), kad atliktų skaičiavimo operacijas analoginėje srityje. Lazeriai gamina šiuos mažus energijos pluoštus, kurie juda šviesos greičiu kaip mokslinės fantastikos filme skriejantis kosminis laivas. Kai fotoninės skaičiavimo šerdys pridedamos prie programuojamų greitintuvų, tokių kaip tinklo sąsajos plokštė (NIC ir jos papildytas atitikmuo, SmartNIC), gautą aparatinę įrangą galima prijungti prie standartinio kompiuterio turbokompresoriaus.
MIT mokslininkai dabar panaudojo fotonikos potencialą, kad paspartintų šiuolaikinį skaičiavimą, parodydami jo galimybes mašininio mokymosi srityje. „Žaibu“ pavadintas jų fotoninis-elektroninis perkonfigūruojamas SmartNIC padeda giliesiems neuroniniams tinklams – mašininio mokymosi modeliams, imituojantiems, kaip smegenys apdoroja informaciją – atlikti išvadų užduotis, pvz., vaizdo atpažinimą ir kalbos generavimą pokalbių robotuose, tokiuose kaip „ChatGPT“. Naujas prototipo dizainas užtikrina įspūdingą greitį ir sukuria pirmąją fotoninę skaičiavimo sistemą, kuri aptarnautų mašininio mokymosi išvadų užklausas realiuoju laiku.
Nepaisant savo potencialo, pagrindinis iššūkis diegiant fotoninius skaičiavimo įrenginius yra tai, kad jie yra pasyvūs, o tai reiškia, kad jiems trūksta atminties ar instrukcijų duomenų srautams valdyti, skirtingai nei elektroniniai kolegos. Ankstesnės fotoninės skaičiavimo sistemos susidūrė su šia kliūtimi, tačiau „Lightning“ pašalina šią kliūtį, kad užtikrintų sklandų duomenų judėjimą tarp elektroninių ir fotoninių komponentų.
„Fotoninis skaičiavimas parodė reikšmingų pranašumų paspartindamas didelių gabaritų tiesinio skaičiavimo užduotis, tokias kaip matricos daugyba, o visa kita pasirūpintų elektronika: prieiga prie atminties, netiesiniai skaičiavimai ir sąlyginė logika. Taip sukuriamas didelis kiekis duomenų, kuriais turi keistis fotonika ir elektronika, kad būtų galima atlikti realaus pasaulio skaičiavimo užduotis, pavyzdžiui, mašininio mokymosi išvadų užklausą“, – sako Zhizhen Zhong, MIT docentės Manya Ghobadi grupės MIT kompiuterių mokslo doktorantas. ir Dirbtinio intelekto laboratorija (CSAIL). „Šio duomenų srauto tarp fotonikos ir elektronikos valdymas buvo praeities naujausių fotoninių skaičiavimų darbų Achilo kulnas. Net jei turite ypač greitą fotoninį kompiuterį, jums reikia pakankamai duomenų, kad galėtumėte jį maitinti be kioskų. Priešingu atveju superkompiuteris veikia tuščiąja eiga, neatlikdamas jokių pagrįstų skaičiavimų.
Ghobadi, MIT Elektros inžinerijos ir kompiuterių mokslų katedros (EECS) docentė ir CSAIL narė, bei jos grupės kolegos yra pirmieji, nustatę ir išsprendę šią problemą. Norėdami atlikti šį žygdarbį, jie sujungė fotonikos greitį ir elektroninių kompiuterių duomenų srauto valdymo galimybes.
Iki Žaibo fotoninės ir elektroninės skaičiavimo schemos veikė savarankiškai, kalbėjo skirtingomis kalbomis. Komandos hibridinė sistema seka reikiamas skaičiavimo operacijas duomenų kelyje, naudodama perkonfigūruojamą skaičiavimo veiksmų abstrakciją, jungiančią fotoniką su kompiuterio elektroniniais komponentais. Ši programavimo abstrakcija veikia kaip vieninga kalba tarp dviejų, kontroliuojanti prieigą prie duomenų srautų. Elektronų nešama informacija paverčiama šviesa fotonų pavidalu, kurie veikia šviesos greičiu ir padeda atlikti išvados užduotį. Tada fotonai paverčiami atgal į elektronus, kad informacija būtų perduota kompiuteriui.
Sklandžiai sujungiant fotoniką su elektronika, naujoji skaičiavimo veiksmų abstrakcija leidžia „Lightning“ greitai apskaičiuoti realaus laiko skaičiavimo dažnį. Ankstesniuose bandymuose buvo naudojamas „stop ir go“ metodas, o tai reiškia, kad duomenis trukdys daug lėtesnė valdymo programinė įranga, kuri priimdavo visus sprendimus dėl judesių. „Fotoninės skaičiavimo sistemos kūrimas be skaičiavimo veiksmų programavimo abstrakcijos yra tarsi bandymas vairuoti Lamborghini nežinant, kaip vairuoti“, – sako Ghobadi, vyresnysis šio straipsnio autorius. „Ką tu darytum? Tikriausiai vienoje rankoje turite vairavimo vadovą, tada paspauskite sankabą, tada patikrinkite vadovą, tada atleiskite stabdį, tada patikrinkite vadovą ir pan. Tai yra „stop and go“ operacija, nes dėl kiekvieno sprendimo turite pasikonsultuoti su aukštesnio lygio subjektu, kuris nurodys, ką daryti. Bet mes ne taip vairuojame; mokomės vairuoti, o paskui panaudoti raumenų atmintį, netikrindami vadovo ar vairavimo taisyklių prie vairo. Mūsų skaičiavimo veiksmų programavimo abstrakcija veikia kaip „Lightning“ raumenų atmintis. Vykdymo metu jis sklandžiai valdo elektronus ir fotonus sistemoje.
Ekologiškas sprendimas
Mašininio mokymosi paslaugoms, kurios atlieka išvadomis pagrįstas užduotis, pvz., ChatGPT ir BERT, šiuo metu reikia didelių skaičiavimo išteklių. Jie ne tik brangūs – kai kurie skaičiavimai rodo, kad to reikia „ChatGPT“. 3 milijonai dolerių per mėnesį, bet jie taip pat kenkia aplinkai, gali išmesti daugiau nei dvigubai daugiau nei vidutinio žmogaus anglies dvideginio. Žaibas generuodamas naudoja fotonus, kurie juda greičiau nei elektronai laiduose mažiau šilumosleidžianti skaičiuoti greitesniu dažniu ir tuo pačiu taupyti energiją.
Norėdami tai išmatuoti, „Ghobadi“ grupė palygino savo įrenginį su standartiniais grafikos apdorojimo įrenginiais, duomenų apdorojimo įrenginiais, „SmartNIC“ ir kitais greitintuvais, sintetindama „Lightning“ lustą. Komanda pastebėjo, kad „Lightning“ efektyviau naudoja energiją, kai pildo išvadų užklausas. „Mūsų sintezės ir modeliavimo tyrimai rodo, kad žaibas sumažina mašininio mokymosi išvadų energijos suvartojimą dydžiais, palyginti su naujausiais greitintuvais“, – sako Mingran Yang, Ghobadi laboratorijos magistrantas ir šio straipsnio bendraautorė. Būdama ekonomiškesnė ir greitesnė parinktis, „Lightning“ siūlo potencialų duomenų centrų atnaujinimą, kad sumažintų mašininio mokymosi modelio anglies pėdsaką ir paspartintų vartotojų atsako į išvadas laiką.
Papildomi šio straipsnio autoriai yra MIT CSAIL postdoc Homa Esfahanizadeh ir bakalauro studentas Liamas Kronmanas, taip pat MIT EECS docentas Dirkas Englundas ir trys neseniai katedros absolventai: Jay Lang ’22, MEng ’23; Christian Williams ’22, MEng ’23; ir Alexander Sludds ’18, MEng ’19, PhD ’23. Jų tyrimus iš dalies rėmė DARPA FastNICs programa, ARPA-E ENLITENED programa, DAF-MIT AI Accelerator, Jungtinių Valstijų armijos tyrimų biuras per Kareivių nanotechnologijų institutą, Nacionalinio mokslo fondo (NSF) dotacijos, NSF kvantinių tinklų centras ir Sloano stipendija.
Šį mėnesį grupė pristatys savo išvadas Kompiuterinių mašinų asociacijos specialiųjų interesų grupėje duomenų perdavimo klausimais (SIGCOMM).
