Menininko sukurta kompiuterinė sistema, pagrįsta šviesa, galinti pagreitinti mašininio mokymosi programų, tokių kaip „ChatGPT“, galią. Mėlynos sekcijos yra mikronų skalės lazerių raktas į technologiją. Kreditas: Ella Maru Studio „ChatGPT“ pateko į antraštes visame pasaulyje, nes gali rašyti gerai atliktas esė, el. laiškus ir kompiuterio kodą, remiantis keliais vartotojo klausimais.
Dabar MIT vadovaujama komanda praneša apie sistemą, kuri gali paskatinti mašininio mokymosi programas, kurios yra daug galingesnės nei ta, kuri yra už ChatGPT. Be to, jų sukurta sistema galėtų sunaudoti keliais dydžiais mažiau energijos nei modernūs superkompiuteriai, kurie yra šiuolaikiniai mašininio mokymosi modeliai.
Liepos 17 d Gamtos fotonika, mokslininkai praneša apie pirmąjį eksperimentinį naujosios sistemos demonstravimą, kuris atlieka skaičiavimus remiantis šviesos, o ne elektronų judėjimu, naudojant šimtus mikronų skalės lazerių. Naudodama naująją sistemą, komanda praneša, kad daugiau nei 100 kartų pagerėjo energijos vartojimo efektyvumas ir 25 kartus pagerėjo skaičiavimo tankis, kuris yra sistemos galios matas, palyginti su naujausiais skaitmeniniais kompiuteriais, skirtais mašininiam mokymuisi. .
Straipsnyje komanda taip pat cituoja „iš esmės dar keletą eilučių būsimam tobulėjimui“. Todėl autoriai tęsia, kad ši technika „atveria kelią didelio masto optoelektroniniams procesoriams, siekiant pagreitinti mašininio mokymosi užduotis nuo duomenų centrų iki decentralizuotų kraštinių įrenginių“. Kitaip tariant, mobilieji telefonai ir kiti maži įrenginiai gali paleisti programas, kurios šiuo metu gali būti skaičiuojamos tik dideliuose duomenų centruose.
Be to, kadangi sistemos komponentai gali būti sukurti naudojant jau šiandien naudojamus gamybos procesus, „tikimės, kad po kelerių metų ji galės būti pritaikyta komerciniam naudojimui. Pavyzdžiui, naudojamos lazerinės matricos plačiai naudojamos mobiliųjų telefonų ekrane. ID ir duomenų perdavimas“, – sako Zaijunas Chenas, pirmasis autorius, atlikęs darbą būdamas MIT Elektronikos tyrimų laboratorijos doktorantūros docentas ir dabar Pietų Kalifornijos universiteto docentas.
Dirkas Englundas, MIT Elektros inžinerijos ir informatikos katedros (EECS) docentas ir darbo vadovas, sako: „ChatGPT dydį riboja šiuolaikinių superkompiuterių galia. Tiesiog ekonomiškai neapsimoka rengti modelius, kurie yra labai dideli. Mūsų naujoji technologija leistų pereiti prie mašininio mokymosi modelių, kurie kitu atveju artimiausiu metu nebūtų pasiekiami.
Jis tęsia: „Mes nežinome, kokias galimybes turės naujos kartos ChatGPT, jei jis bus 100 kartų galingesnis, tačiau tai yra atradimo režimas, kurį gali leisti tokia technologija.” Englundas taip pat yra MIT Kvantinės fotonikos laboratorijos vadovas ir yra susijęs su Elektronikos tyrimų laboratorija (RLE) ir Medžiagų tyrimų laboratorija.
Pažangos būgnų trenksmas
Dabartinis darbas yra naujausias Englundo ir daugelio tų pačių kolegų pasiekimas per pastaruosius kelerius metus pažangos būgnų ritmu. Pavyzdžiui, 2019 m. Englundo komanda pranešė apie teorinį darbą, kuris paskatino dabartinę demonstraciją. Pirmasis šio straipsnio autorius Ryanas Hamerly, dabar iš RLE ir NTT Research Inc, taip pat yra šio straipsnio autorius.
Papildomi dabartinės bendraautoriai Gamtos fotonika dokumentai yra Alexander Sludds, Ronald Davis, Ian Christen, Liane Bernstein ir Lamia Ateshian, visi RLE; ir Tobias Heuser, Niels Heermeier, James A. Lott ir Stephan Reitzensttein iš Technische Universitat Berlin.
Gilieji neuroniniai tinklai (DNN), tokie kaip ChatGPT, yra pagrįsti didžiuliais mašininio mokymosi modeliais, kurie imituoja, kaip smegenys apdoroja informaciją. Tačiau šiuolaikinių DNN skaitmeninės technologijos pasiekia savo ribas, net kai mašininio mokymosi sritis auga. Be to, jiems reikia daug energijos ir jie daugiausia naudojami dideliuose duomenų centruose. Tai skatina kurti naujas skaičiavimo paradigmas.
Šviesos pranašumai
Naudojant šviesą, o ne elektronus DNN skaičiavimams vykdyti, gali būti išlaužtos dabartinės kliūtys. Pavyzdžiui, skaičiavimai naudojant optiką gali sunaudoti daug mažiau energijos nei tie, kurie pagrįsti elektronika. Be to, naudojant optiką, „galite turėti daug didesnį pralaidumą“ arba skaičiavimo tankį, sako Chen. Šviesa gali perduoti daug daugiau informacijos daug mažesniame plote.
Tačiau dabartiniai optiniai neuroniniai tinklai (ONN) turi didelių iššūkių. Pavyzdžiui, jie sunaudoja daug energijos, nes neefektyviai konvertuoja gaunamus duomenis, pagrįstus elektros energija, į šviesą. Be to, susiję komponentai yra dideli ir užima daug vietos. Ir nors ONN gana gerai atlieka tiesinius skaičiavimus, pvz., sudėjimą, jie nėra puikūs atliekant netiesinius skaičiavimus, tokius kaip daugyba ir „jei“ teiginiai.
Dabartiniame darbe mokslininkai pristato kompaktišką architektūrą, kuri pirmą kartą išsprendžia visus šiuos ir dar du iššūkius vienu metu. Ši architektūra pagrįsta pažangiausiomis vertikalių paviršių spinduliuojančių lazerių (VCSEL) matricomis – palyginti nauja technologija, naudojama tokiose programose kaip LiDAR nuotolinis stebėjimas ir lazerinis spausdinimas.
Tam tikri VCEL, apie kuriuos pranešta Gamtos fotonika popierių sukūrė Reitzenstein grupė Berlyno Technische Universitat. „Tai buvo bendradarbiavimo projektas, kuris nebūtų buvęs įmanomas be jų”, – sako Hamerly.
Loganas Wrightas yra Jeilio universiteto docentas, kuris dabartiniame tyrime nedalyvavo. Wright sako: „Zaijuno Cheno ir kt. darbas įkvepia, skatina mane ir tikriausiai daugelį kitų šios srities tyrinėtojų, kad sistemos, pagrįstos moduliuotomis VCSEL matricomis, galėtų būti perspektyvus kelias į didelio masto, didelės spartos optinius neuroninius tinklus.
„Žinoma, naujausios technologijos čia dar toli nuo tokio masto ir sąnaudų, kurių reikėtų praktiškai naudingiems įrenginiams, tačiau optimistiškai žiūriu į tai, ką galima realizuoti per ateinančius kelerius metus, ypač turint omenyje šių įrenginių potencialą. sistemos turi paspartinti labai didelio masto, labai brangias AI sistemas, tokias kaip tas, kurios naudojamos populiariose tekstinėse „GPT“ sistemose, tokiose kaip „ChatGPT“.
Chenas, Hamerly ir Englundas pateikė darbo patentą.
Daugiau informacijos: Zaijun Chen ir kt., Gilus mokymasis su nuosekliais VCSEL neuroniniais tinklais, Gamtos fotonika (2023). DOI: 10.1038/s41566-023-01233-w
Citata: kompiuterinė sistema, pagrįsta šviesa, gali greitai paleisti ChatGPT tipo mašininio mokymosi programas (2023 m. liepos 28 d.), gauta 2023 m. liepos 28 d. iš https://techxplore.com/news/2023-07-based-jumpstart-power-chatgpt- tipas-mašininis mokymasis.html
Šis dokumentas yra saugomas autorių teisių. Išskyrus bet kokius sąžiningus sandorius privačių studijų ar mokslinių tyrimų tikslais, jokia dalis negali būti atkuriama be raštiško leidimo. Turinys pateikiamas tik informaciniais tikslais.
