Ieškodami skrydžių sistemoje „Google“ galbūt pastebėjote, kad kiekvieno skrydžio anglies emisijos įvertinimas dabar pateikiamas šalia jo kainos. Tai būdas informuoti klientus apie jų poveikį aplinkai ir leisti jiems atsižvelgti į šią informaciją priimant sprendimus.
Panašaus skaidrumo dar nėra kompiuterijos pramonėje, nepaisant to, kad jos anglies dvideginio emisija viršija visos oro transporto pramonės. Šį energijos poreikį didina dirbtinio intelekto modeliai. Didžiuliai populiarūs modeliai, tokie kaip „ChatGPT“, rodo didelio masto dirbtinio intelekto tendenciją, o tai skatina prognozes, pagal kurias duomenų centrai iki 2030 m. pagamins iki 21 proc. pasaulio elektros energijos.
MIT Linkolno laboratorijos superkompiuterių centras (LLSC) kuria metodus, padedančius duomenų centrams naudoti energiją. Jų metodai svyruoja nuo paprastų, bet veiksmingų pakeitimų, pvz., galios ribojimo aparatinės įrangos, iki naujų įrankių, galinčių anksti sustabdyti DI mokymą, pritaikymo. Svarbiausia, kad jie nustatė, kad šie metodai turi minimalų poveikį modelio veikimui.
Kalbant apie platesnį vaizdą, jų darbas sutelkia ekologiškus tyrimus ir skatina skaidrumo kultūrą. „Energiją tausojanti kompiuterija iš tikrųjų nėra tyrimų sritis, nes visi laikosi savo duomenų“, – sako Vijay Gadepally, LLSC vyriausiasis darbuotojas, vadovaujantis energiją tausojantiems tyrimams. „Kažkas turi pradėti, o mes tikimės, kad kiti paseks“.
Galios pažabojimas ir aušinimas
Kaip ir daugelyje duomenų centrų, LLSC pastebimai išaugo AI užduočių, veikiančių jo aparatinėje įrangoje, skaičius. Pastebėję didėjantį energijos suvartojimą, LLSC kompiuterių mokslininkai domėjosi būdais, kaip efektyviau vykdyti darbus. Žalioji kompiuterija yra centro principas, kurį visiškai maitina energija be anglies.
Norint išmokyti dirbtinio intelekto modelį – procesą, kurio metu jis mokosi modelių iš didžiulių duomenų rinkinių – reikia naudoti grafikos apdorojimo blokus (GPU), kurie yra energijos reikalaujanti aparatinė įranga. Apskaičiuota, kad GPU, apmokę GPT-3 (ChatGPT pirmtakas), sunaudojo 1 300 megavatvalandžių elektros, maždaug tiek, kiek sunaudoja 1 450 vidutinių JAV namų ūkių per mėnesį.
Nors dauguma žmonių ieško GPU dėl jų skaičiavimo galios, gamintojai siūlo būdus, kaip apriboti GPU galios kiekį. „Ištyrėme galios apribojimo poveikį ir nustatėme, kad galime sumažinti energijos suvartojimą maždaug 12–15 procentų, priklausomai nuo modelio“, – sako Siddharthas Samsi, LLSC tyrėjas.
Kompromisas dėl galios ribojimo didina užduoties laiką – GPU užtruks maždaug 3 procentais ilgiau, kad atliktų užduotį. Gadepally teigimu, padidėjimas yra „vos pastebimas“, nes modeliai dažnai mokomi per dienas ar net mėnesius. Viename iš jų eksperimentų, kurių metu jie mokė populiarų BERT kalbos modelį, apribojus GPU galią iki 150 vatų, mokymosi laikas pailgėjo dviem valandomis (nuo 80 iki 82 valandų), tačiau sutaupė tiek energijos, kiek JAV namų ūkis per savaitę.
Tada komanda sukūrė programinę įrangą, kuri prijungia šią galios ribojimo funkciją į plačiai naudojamą planavimo sistemą „Slurm“. Programinė įranga leidžia duomenų centrų savininkams nustatyti apribojimus visoje savo sistemoje arba kiekvienam darbui.
„Šią intervenciją galime panaudoti jau šiandien, ir tai padarėme visose savo sistemose“, – sako Gadepally.
Atsirado ir šalutinių privalumų. Nuo tada, kai buvo nustatyti galios apribojimai, LLSC superkompiuterių GPU veikė maždaug 30 laipsnių pagal Farenheitą aušintuvu ir pastovesne temperatūra, todėl sumažėjo aušinimo sistemos įtampa. Aparatinės įrangos aušintuvo paleidimas taip pat gali padidinti patikimumą ir tarnavimo laiką. Dabar jie gali apsvarstyti galimybę atidėti naujos aparatinės įrangos pirkimą – sumažinti centro „įkūnytą anglies dioksidą“ arba išmetamų teršalų kiekį, susidarantį gaminant įrangą – tol, kol naudojant naują techninę įrangą įgautas efektyvumas kompensuos šį anglies pėdsako aspektą. Jie taip pat randa būdų, kaip sumažinti vėsinimo poreikį, strategiškai planuodami darbus naktimis ir žiemos mėnesiais.
„Duomenų centrai šiandien gali naudoti šiuos lengvai įgyvendinamus metodus, kad padidintų efektyvumą, nereikalaujant kodo ar infrastruktūros pakeitimų“, – sako Gadepally.
Šiuo visapusišku duomenų centro operacijų žvilgsniu, siekiant rasti galimybių ją sumažinti, gali prireikti daug laiko. Kad šis procesas būtų lengvesnis kitiems, komanda, bendradarbiaudama su Šiaurės rytų universiteto profesoriumi Deveshu Tiwari ir Baolinu Li, neseniai sukūrė ir paskelbė išsamią didelio našumo skaičiavimo sistemų anglies pėdsakų analizės sistemą. Sistemos specialistai gali naudoti šią analizės sistemą, kad geriau suprastų, kokia tvari yra jų dabartinė sistema, ir apsvarstytų naujos kartos sistemų pakeitimus.
Modelių apmokymo ir naudojimo reguliavimas
Be duomenų centro veiklos koregavimo, komanda kuria būdus, kaip AI modelio kūrimą padaryti efektyvesnį.
Kurdami modelius, dirbtinio intelekto kūrėjai dažnai sutelkia dėmesį į tikslumo gerinimą ir kaip atspirties tašką remiasi ankstesniais modeliais. Norėdami pasiekti norimą išvestį, jie turi išsiaiškinti, kokius parametrus naudoti, o norint juos tinkamai pasiekti, gali prireikti išbandyti tūkstančius konfigūracijų. Šis procesas, vadinamas hiperparametrų optimizavimu, yra viena sritis, kurią LLSC mokslininkai nustatė, kad būtų galima sumažinti energijos švaistymą.
„Mes sukūrėme modelį, kuris iš esmės žiūri į tam tikros konfigūracijos mokymosi greitį”, – sako Gadepally. Atsižvelgiant į šį rodiklį, jų modelis numato galimą našumą. Nepakankamai našūs modeliai sustabdomi anksti. „Galime anksti pateikti labai tikslų įvertinimą, kad geriausias modelis pateks į 10 geriausių iš 100 veikiančių modelių“, – sako jis.
Jų studijose šis ankstyvas sustabdymas leido dramatiškai sutaupyti: 80 procentų sumažėjo modelių mokymui sunaudojama energija. Jie taikė šią techniką modeliams, sukurtiems kompiuteriniam regėjimui, natūralios kalbos apdorojimui ir medžiagų projektavimo programoms.
„Mano nuomone, ši technika turi didžiausią potencialą tobulinti AI modelių mokymą“, – sako Gadepally.
Mokymas yra tik viena AI modelio emisijos dalis. Didžiausias emisijų kiekis laikui bėgant yra modelio išvados arba modelio realizavimo procesas, pvz., kai vartotojas kalbasi su „ChatGPT“. Norėdami greitai reaguoti, šie modeliai naudoja perteklinę aparatinę įrangą, kuri veikia visą laiką ir laukia, kol vartotojas užduos klausimą.
Vienas iš būdų pagerinti išvadų efektyvumą yra naudoti tinkamiausią aparatinę įrangą. Taip pat kartu su Šiaurės rytų universitetu komanda sukūrė optimizavimo priemonę, suderinančią modelį su labiausiai anglies dvideginiu išmetusiu aparatinės įrangos deriniu, pvz., didelės galios GPU, skirtą skaičiavimo intensyvioms išvadų dalims, ir mažos galios centrinius procesorius (CPU) mažiau. – reiklūs aspektai. Šis darbas neseniai laimėjo geriausio popieriaus apdovanojimą Tarptautiniame ACM simpoziume apie didelio našumo lygiagrečią ir paskirstytą kompiuteriją.
Naudojant šį optimizavimo įrankį energijos suvartojimas gali sumažėti 10–20 proc., tačiau vis tiek pasiekiamas tas pats „paslaugų kokybės tikslas“ (kaip greitai modelis gali reaguoti).
Šis įrankis ypač naudingas debesų klientams, kurie nuomoja sistemas iš duomenų centrų ir turi pasirinkti techninę įrangą iš tūkstančių parinkčių. „Dauguma klientų pervertina, ko jiems reikia; jie pasirenka per daug galingą aparatinę įrangą tik todėl, kad nežino geriau“, – sako Gadepally.
Augantis ekologiškų kompiuterių supratimas
Energija, sutaupyta įgyvendinant šias intervencijas, taip pat sumažina susijusias DI kūrimo išlaidas, dažnai santykiu vienas su vienu. Tiesą sakant, kaina paprastai naudojama kaip energijos suvartojimo pakaitinis rodiklis. Turint omenyje šiuos sutaupymus, kodėl daugiau duomenų centrų neinvestuoja į ekologiškas technologijas?
„Manau, kad tai yra šiek tiek paskatų nesutapimo problema“, – sako Samsi. „Buvo tokios lenktynės kuriant didesnius ir geresnius modelius, kad beveik visi antraeiliai svarstymai buvo atidėti į šalį.
Jie pabrėžia, kad nors kai kurie duomenų centrai perka atsinaujinančios energijos kreditus, šių atsinaujinančių šaltinių nepakanka, kad būtų patenkinti augantys energijos poreikiai. Didžioji dalis elektrą maitinančių duomenų centrų gaunama iš iškastinio kuro, o aušinimui naudojamas vanduo prisideda prie įtemptų vandens baseinų.
Taip pat gali kilti dvejonių, nes nebuvo atlikti sistemingi energijos taupymo metodų tyrimai. Štai kodėl komanda, be atvirojo kodo saugyklų, stumia savo tyrimus recenzuojamose vietose. Kai kurie stambūs pramonės žaidėjai, pvz., „Google DeepMind“, taikė mašininį mokymąsi, kad padidintų duomenų centro efektyvumą, bet nesuteikė savo darbo, kad kiti galėtų įdiegti ar pakartoti.
Populiariausios AI konferencijos dabar ragina parengti etikos pareiškimus, kuriuose svarstoma, kaip AI gali būti piktnaudžiaujama. Grupė laiko klimato aspektą AI etikos tema, kuriai dar nebuvo skirta daug dėmesio, tačiau atrodo, kad tai taip pat pamažu keičiasi. Kai kurie mokslininkai dabar atskleidžia naujausių modelių mokymo anglies pėdsaką, o pramonė taip pat rodo energijos skaidrumo pokyčius, kaip nurodyta šioje naujausioje Meta AI ataskaitoje.
Jie taip pat pripažįsta, kad skaidrumas yra sudėtingas be įrankių, galinčių parodyti dirbtinio intelekto kūrėjams jų naudojimą. Ataskaitos yra įtrauktos į LLSC šių metų veiksmų planą. Jie nori, kad kiekvienas LLSC vartotojas kiekvienam darbui parodytų, kiek energijos suvartoja ir kaip šis kiekis lyginamas su kitais, panašiai kaip namų energijos ataskaitos.
Dalis šių pastangų reikalauja glaudesnio bendradarbiavimo su aparatūros gamintojais, kad šie duomenys būtų lengviau ir tiksliau gauti iš aparatinės įrangos. Jei gamintojai gali standartizuoti duomenų nuskaitymo būdą, energijos taupymo ir ataskaitų teikimo įrankius galima pritaikyti įvairiose aparatinės įrangos platformose. Vyksta bendradarbiavimas tarp LLSC mokslininkų ir „Intel“, kad išspręstų šią problemą.
Netgi dirbtinio intelekto kūrėjai, kurie žino apie didelius DI energijos poreikius, patys negali daug nuveikti, kad sumažintų šį energijos naudojimą. LLSC komanda nori padėti kitiems duomenų centrams taikyti šias intervencijas ir suteikti vartotojams energijos taupymo galimybes. Pirmoji jų partnerystė yra su JAV oro pajėgomis, šio tyrimo rėmėja, kuri valdo tūkstančius duomenų centrų. Taikant šiuos metodus gali smarkiai sumažėti jų energijos suvartojimas ir sąnaudos.
„Mes perduodame kontrolę dirbtinio intelekto kūrėjams, kurie nori sumažinti savo pėdsaką“, – sako Gadepally. „Ar man tikrai reikia neatlygintinai mokyti neperspektyvius modelius? Ar noriu lėčiau paleisti GPU, kad taupyčiau energiją? Mūsų žiniomis, joks kitas superkompiuterių centras neleidžia svarstyti šių variantų. Naudodami mūsų įrankius šiandien turite nuspręsti.”
Apsilankykite šiame tinklalapyje, kad pamatytumėte grupės publikacijas, susijusias su energiją taupančiais skaičiavimais, ir šiame straipsnyje aprašytas išvadas.
