Tokia technologija pakeistų mums pažįstamą pasaulį. Tinkamai naudojama ji galėtų būti naudinga mums visiems, tačiau netinkamose rankose galėtų tapti pačiu pražūtingiausiu ginklu. Štai kodėl „OpenAI“ ėmėsi šių paieškų. Kad užtikrintų, jog ji būtų visiems vienodai naudinga: „Mūsų tikslas – tobulinti skaitmeninį intelektą taip, kad jis būtų naudingiausias visai žmonijai“.
Tačiau dėl šios problemos masto ji yra bene didžiausia mokslinė įmonė, į kurią žmonija yra įkišusi rankas. Nepaisant visos kompiuterių mokslo ir dirbtinio intelekto pažangos, niekas nežino, kaip ją išspręsti ir kada tai įvyks.
Kai kurie teigia, kad gilaus mokymosi nepakanka AGI pasiekti. Stiuartas Raselas (Stuart Russell), Berklio kompiuterių mokslo profesorius ir dirbtinio intelekto pradininkas, teigia, kad „sutelkdami dėmesį į žalią skaičiavimo galią visiškai nesuprantame esmės […] Nežinome, kaip sukurti tikrai protingą mašiną – net jei ji būtų Visatos dydžio“.
Tuo tarpu „OpenAI“ įsitikinusi, kad dideli neuroniniai tinklai, kurie yra maitinami dideliais duomenų rinkiniais ir apmokyti didžiuliais kompiuteriais, yra geriausias būdas pasiekti AGI. Gregas Brokmanas, „OpenAI“ techninis direktorius, interviu laikraščiui „Financial Times“ sakė: „Manome, kad didžiausią naudą gaus tas, kas turės didžiausią kompiuterį.“
Taip jie ir padarė. Jie pradėjo mokyti vis didesnius modelius, kad pažadintų paslėptą gilaus mokymosi galią. Pirmieji nepastebimi žingsniai šia kryptimi buvo GPT ir GPT-2 išleidimas. Šie dideli kalbų modeliai turėjo padėti pagrindą šou žvaigždei: GPT-3. Kalbos modelis, 100 kartų didesnis už GPT-2 ir turintis 175 mlrd. parametrų.
Tuo metu GPT-3 buvo didžiausias kada nors sukurtas neuroninis tinklas ir iki šiol yra didžiausias tankus neuroninis tinklas. Jo kalbos žinios ir nesuskaičiuojamos galimybės daugelį nustebino. Ir nors kai kurie ekspertai išliko skeptiški, dideli kalbos modeliai jau atrodė keistai žmogiški. Tai buvo didžiulis šuolis į priekį „OpenAI“ tyrėjams, kurie sustiprino savo įsitikinimus ir įtikino, kad AGI yra gilaus mokymosi problema.
Šventoji trejybė – algoritmai, duomenys ir kompiuteriai
„OpenAI“ tiki mastelio hipoteze. Turint keičiamo mastelio algoritmą, šiuo atveju transformatorių – pagrindinę GPT šeimos architektūrą, gali būti tiesus kelias į AGI, kurį sudaro vis didesnių modelių mokymas pagal šį algoritmą.
Tačiau dideli modeliai yra tik viena AGI dėlionės dalis. Jiems apmokyti reikia didelių duomenų rinkinių ir didelės skaičiavimo galios.
Duomenys nustojo būti kliūtimi, kai mašinų mokymosi bendruomenė pradėjo atskleisti nekontroliuojamo mokymosi galimybes. Tai, kartu su generatyviniais kalbos modeliais ir kelių užduočių perkėlimu, išsprendė „didelių duomenų rinkinių“ problemą „OpenAI“.
Jiems reikėjo tik didžiulių skaičiavimo išteklių savo modeliams apmokyti ir įdiegti, ir jie būtų galėję veikti. Štai kodėl 2019 m. jie užmezgė partnerystę su „Microsoft„. Jie suteikė licenciją didžiajai technologijų bendrovei, kad galėtų komerciškai naudoti kai kuriuos „OpenAI“ modelius mainais į prieigą prie jos debesų kompiuterijos infrastruktūros ir galingų jiems reikalingų GPU.
Tačiau GPU nėra sukurti specialiai neuroniniams tinklams treniruoti. Žaidimų pramonė šiuos lustus sukūrė grafikos apdorojimui, o dirbtinio intelekto pramonė tiesiog pasinaudojo jų tinkamumu lygiagrečiam skaičiavimui. Kompanija „OpenAI“ norėjo geriausių modelių ir geriausių duomenų rinkinių, todėl jiems reikėjo ir geriausių kompiuterių lustų. GPU nepakako.
Daugelis įmonių tai taip pat suprato ir pradėjo kurti savo įmonėse specializuotus lustus, skirtus neuroniniams tinklams mokyti, neprarandant efektyvumo ar pajėgumo. Tačiau grynai programinės įrangos bendrovė, tokia kaip „OpenAI“, vargu ar gali integruoti aparatinės įrangos projektavimą ir gamybą. Todėl jie pasirinko kitą kelią: Naudoti trečiųjų šalių intelektiniam intelektui skirtus lustus.
Čia į sceną įžengia „Cerebras Systems“. Ši mikroschemų bendrovė 2019 m. jau sukūrė didžiausią kada nors sukurtą mikroschemą, skirtą dideliems neuroniniams tinklams mokyti. Dabar jie tai padarė dar kartą, ir „OpenAI“ galės pasinaudoti šiuo nuostabiu inžinerijos kūriniu.
Lustas ir modelis – WSE-2 ir GPT-4
Prieš dvi savaites „Wired“ paskelbė straipsnį, kuriame atskleidė dvi svarbias naujienas.
Pirma, „Cerebras“ vėl sukūrė didžiausią rinkoje lustą – „Wafer Scale Engine Two“ (WSE-2). Jis yra ~22 cm ilgio iš kiekvienos pusės ir turi 2,6 trilijono tranzistorių. Palyginimui, visiškai naujos Teslos mokomosios plytelės turi 1,25 trilijono tranzistorių.
Cerebras rado būdą, kaip efektyviai kondensuoti skaičiavimo galią, todėl WSE-2 turi 850 000 branduolių – skaičiavimo vienetą, o įprasti GPU – kelis šimtus. Jie taip pat išsprendė kaitimo problemą naudodami naują aušinimo sistemą, be to, jiems pavyko sukurti efektyvų įvesties ir išvesties duomenų srautą.
Tokių itin specializuotų, itin brangių ir itin galingų lustų kaip WSE-2 panaudojimo būdų nėra daug. Didelių neuroninių tinklų mokymas yra viena iš jų. Taigi „Cerebras“ pasikalbėjo su „OpenAI“.
Štai antroji naujiena. Andrew Feldmanas, „Cerebras“ generalinis direktorius, sakė „Wired“: Iš pokalbio su „OpenAI“ paaiškėjo, kad GPT-4 bus apie 100 trilijonų parametrų. […] Tai nebus parengta dar kelerius metus.“
Nuo GPT-3 su „OpenAI“ ir kita jos versija siejama daug lūkesčių. Dabar žinome, kad ji pasirodys po kelerių metų ir bus itin didelė. Ji bus daugiau nei x500 didesnė už GPT-3. Perskaitėte teisingai: x500.
GPT-4 bus penkis šimtus kartų didesnė už kalbą modelis, kuris praėjusiais metais šokiravo pasaulį.
Ko galime tikėtis iš GPT-4?
100 trilijonų parametrų yra daug. Kad suprastume, koks tai didelis skaičius, palyginkime jį su mūsų smegenimis. Smegenyse yra apie 80-100 mlrd. neuronų (GPT-3 dydžio) ir apie 100 trilijonų sinapsių.
GPT-4 turės tiek parametrų, kiek smegenys turi sinapsių.
Toks neuronų tinklo dydis gali lemti kokybinį šuolį, palyginti su GPT-3, kurį galime tik įsivaizduoti. Gali būti, kad net negalėsime išbandyti viso sistemos potencialo dabartiniais skatinimo metodais.
Tačiau lyginti dirbtinį neuronų tinklą su smegenimis yra sudėtinga. Palyginimas atrodo teisingas, bet taip yra tik todėl, kad darome prielaidą, jog dirbtiniai neuronai bent jau laisvai remiasi biologiniais neuronais. Neseniai žurnale „Neuron“ paskelbtame tyrime teigiama kitaip. Jie nustatė, kad norint imituoti vieno biologinio neurono elgesį reikia bent 5 sluoksnių neuronų tinklo. Tai reiškia, kad kiekvienam biologiniam neuronui tenka apie 1000 dirbtinių neuronų.
Tačiau net jei GPT-4 nėra toks galingas kaip mūsų smegenys, jis tikrai paliks keletą staigmenų. Skirtingai nei GPT-3, tai tikriausiai nebus tik kalbos modelis. Apie tai užsiminė „OpenAI“ vyriausiasis mokslininkas Ilja Sutskeveris, kai 2020 m. gruodžio mėn. rašė apie daugialypę terpę:
„2021 m. kalbos modeliai pradės pažinti vizualinį pasaulį. Vien tik tekstu galima išreikšti daug informacijos apie pasaulį, tačiau jis yra neišsamus, nes gyvename ir vizualiame pasaulyje.“
Kai ką iš to jau matėme su DALL-E – mažesne GPT-3 versija (12 mlrd. parametrų), apmokyta specialiai teksto ir vaizdo poroms. Tuomet „OpenAI“ teigė, kad „vizualinių sąvokų valdymas pasitelkiant kalbą dabar yra pasiekiamas“.
„OpenAI“ nesustodama dirba, kad išnaudotų paslėptus GPT-3 gebėjimus. DALL-E buvo ypatingas GPT-3 atvejis, labai panašus į Codex. Tačiau jie nėra absoliutūs patobulinimai, veikiau ypatingi atvejai. GPT-4 žada daugiau. Ji žada tokių specializuotų sistemų, kaip DALL-E (tekstas-vaizdai) ir Codex (kodavimas), gylį, derinamą su tokių generalizuotų sistemų, kaip GPT-3 (bendrinė kalba), platumu.
O kaip dėl kitų į žmogų panašių savybių, tokių kaip samprotavimas ar sveikas protas? Šiuo klausimu Samas Altmanas sako, kad jie nėra tikri, bet išlieka „optimistai“.
Yra daug klausimų ir labai mažai atsakymų. Niekas nežino, ar AGI yra įmanoma. Niekas nežino, kaip ją sukurti. Niekas nežino, ar didesni neuroniniai tinklai vis labiau priartės prie jos. Tačiau kai kas yra neginčijama: GPT-4 bus kažkas, į ką verta atkreipti dėmesį.
