Karas Ukrainoje
Aš paėmiau šešias savaites, kad auginčiau kūdikį, ir visi nusprendė, kad atėjo laikas paskelbti, kad AI revoliucija neišvengiama. Sunku to nepriimti asmeniškai.
Daugybė naujų įvykių, kurių kiekvienas buvo įspūdingesnis nei ankstesnis, ir kiekvienas į sceną atvyksta greičiau nei ankstesnis, pasiekė apogėjų praėjusią savaitę, kai beveik vienu metu buvo paskelbta apie Google Bard ir Microsoft Bing Chat. Nuo tada buvo galima diskurso permutacija – nuo tūkstantmečio tvirtinimų apie neišvengiamą AI eschatoną iki visos srities, kaip pašlovinto automatinio užbaigimo, atmetimo.
Aš čia ne tam, kad išspręsčiau šias diskusijas. Vietoj to, jei 2023-ieji yra metai, kai dirbtinis intelektas viską pakeičia, tų metų pradžioje laikas šiek tiek pasigilinti, kas tai yra, kaip jis veikia ir kodėl yra toks, koks yra. Ir geriausias būdas tai padaryti yra pradėti kalbėti apie visus tuos mažus terminus, kurie nepatenka į pagrindinę aprėptį, nes jie yra „per techniški“.
Ką iš tikrųjų reiškia pagrindiniai AI akronimai ir žargonas
Neuroninis tinklą
Neuroniniai tinklai yra pagrindinė technologija, kuri yra AI bumo pagrindas. Pagalvokite apie juos kaip apie pirmosios pramonės revoliucijos garo variklio atitikmenį: bendros paskirties technologiją, galinčią pasiekti daugybę skirtingų pramonės šakų, naudoti atvejų ir jas pakeisti.
Pirmą kartą sukurti 1940-aisiais, neuroniniai tinklai pradėti bandyti modeliuoti gyvūnų smegenis, sudarytas iš milijonų paprastų neuronų, sujungtų su keletu kitų. Kiekvienas atskiras neuronas yra labai paprastas, tačiau kiekis lemia kokybę, ir pakankamai jų kartu gali išmokti atlikti sudėtingas užduotis. Tas pats pasakytina ir apie dirbtinius neuroninius tinklus, nors tie neuronai yra grynai algoritminės idėjos, o ne fiziniai ryšiai.
Kaip ir garo varikliui, prireikė dešimtmečių, kad suprastų tikrąją išradimo galią. Neuroninis tinklas veikia tik su didžiuliu skaičiavimo galios ir duomenų kiekiu, todėl pastaruosius 70 metų jie buvo įdomūs. Tūkstantmečio sandūroje tai pasikeitė, o AI amžius pradėjo lėtėti.
LLM
„Didelės kalbos modelis“ arba LLM yra vienas iš dviejų pagrindinių AI metodų, paskatinusių naujausią pažangą šiame sektoriuje. Jame aprašomi neuroniniai tinklai, kurie mokomi naudojant didžiulius tekstinių duomenų rinkinius, tokius kaip OpenAI GPT serija, Google PaLM arba Meta LLaMa. Pavyzdžiui, PaLM naudoja „aukštos kokybės žiniatinklio dokumentus, knygas, Vikipediją, pokalbius ir GitHub kodą“, kad suprastų kalbą.
Klausimas, į kurį bando atsakyti LLM, yra paprastas: atsižvelgiant į trumpą teksto dalį, kas bus toliau? Tačiau gerai atlikti šią užduotį yra neįtikėtinai galinga. Viena vertus, tai rekursyvus. Kai nuspėsite, kas bus toliau, turėsite naują, šiek tiek ilgesnę teksto dalį, kurią galėsite grąžinti į LLM ir pakartoti klausimą, generuodami ištisus sakinius, pastraipas, straipsnius ar knygas.
Klausimas taip pat yra bendro pobūdžio. Nuspėti, kas bus po trumpo faktinio angliško teksto gabalo, skiriasi nuo to, kas ateis trumpam kodo gabalėliui, klausimui, eilėraščiui, porai išverstų sakinių ar loginio galvosūkio, bet tas pats požiūris. atrodo, kad puikiai tinka visoms toms užduotims. Kuo didesnis kalbos modelis, tuo geresnis rezultatas: GPT-3 yra 1500 kartų didesnis nei GPT-1, ir atrodo, kad mes dar nepriartėjome prie ribos.
Renesanso stiliaus dirbtinio intelekto sukurti portretai, sukurti naudojant stabilią difuziją. Sudėtis: universalus viešasis domenasGAN
Tai, ką LLM padarė tekstui, „generatyvūs priešingi tinklai“ padarė vaizdams, filmams, muzikai ir kt. Griežtai kalbant, GAN yra du neuroniniai tinklai: vienas sukurtas žymėti, kategorizuoti ir vertinti, o kitas sukurtas kurti nuo nulio. Sujungę juos kartu, galite sukurti AI, galintį generuoti turinį pagal komandą.
Tarkime, kad norite dirbtinio intelekto, galinčio daryti nuotraukas. Pirma, jūs atliekate sunkų darbą kurdami ženklinimo dirbtinį intelektą, tokį, kuris gali matyti vaizdą ir pasakyti, kas jame yra, parodydami milijonus vaizdų, kurie jau buvo pažymėti, kol jis išmoks atpažinti ir apibūdinti „šuo“. , „paukštis“ arba „perpjauto apelsino nuotrauka, rodanti, kad jo vidus yra obuolio“. Tada imate tą programą ir naudojate ją, kad išmokytumėte antrą AI, kad ją apgautų. Šis antrasis AI „laimi“, jei gali sukurti vaizdą, kuriam pirmasis AI suteiks norimą etiketę.
Išmokę antrąjį AI, turėsite tai, ką nusprendėte sukurti: AI, kuriam galite priskirti etiketę ir gauti paveikslėlį, kuris, jo nuomone, atitinka etiketę. Arba daina. Arba vaizdo įrašą. Arba 3D modelis.
Apskaičiuokite
Naujo AI modelio mokymas gali būti brangus. Remiantis OpenAI tyrimų dokumentais, galutiniam GPT-3 sukūrimui prireikė maždaug 10 mln. Ši kliūtis – prieiga prie „skaičiavimo“ arba skaičiavimo galios – reiškia, kad didelės bendros paskirties įrankiai, tokie kaip LLM, dažniausiai yra didžiulių įmonių kompetencija. Dar 2018 m. „OpenAI“ perspėjo, kad dirbtinio intelekto treniruotėse naudojamas skaičiavimas padvigubėja kas tris su puse mėnesio. Po metų dėl šios priežasties bendrovė paskelbė, kad pereis nuo ne pelno siekiančio modelio, nes reikės „artimiausiais metais investuoti milijardus dolerių į didelio masto debesų kompiuteriją“.
Dėl Oksfordo, Kembridžo ir Londono „auksinio trikampio“ JK yra pasaulinė AI tyrimų lyderė. Tačiau akademikams dažnai yra ribojama prieiga prie skaičiavimo kiekio, kurio jiems reikia, kad galėtų dirbti pažangiausioje padėtyje, todėl Amerikos ir Kinijos korporacijų milžinai, turintys milijardus investuoti, pasisavino komercinę naudą. Dėl to buvo raginama sukurti vyriausybei priklausantį „BritGPT“, sukurtą iš viešųjų lėšų, kad būtų galima atlikti skaičiavimus, kurių trūksta JK mokslininkams.
praleisti ankstesnę naujienlaiškio reklamąpo naujienlaiškio reklamavimo
„iPhone“ matomas „ChatGPT“ robotas. Nuotrauka: Koshiro K/AlamyJuoda dėžė
Neuroniniai tinklai dažnai apibūdinami kaip „juodoji dėžė“: kuo jie tampa kompetentingesni, tuo sunkiau išsiaiškinti, kaip jie daro tai, ką daro. GPT-3 turi 175 mlrd. „parametrų“, kurių kiekvienas apibūdina, kaip stipriai ar silpnai vienas neuronas veikia kitą. Tačiau beveik neįmanoma pasakyti, ką koks nors parametras veikia visai LLM.
Net bendra neuroninių tinklų struktūra yra kažkokia paslaptis. Kartais galime pamatyti tvarką. „T“ GPT reiškia „Transformerį“ – tai būdas sujungti neuroninį tinklą, kad jis galėtų imituoti trumpalaikę atmintį, o tai akivaizdžiai prasminga, kai reikia skaityti sakinį po vieną žodį. Tačiau kiti neuroninio tinklo projektavimo aspektai yra labiau bandymai ir klaidos: pavyzdžiui, atrodo, kad privertus neuroninį tinklą „išspausti“ savo mąstymą per kelis neuronus, galima pagerinti išvesties kokybę. Kodėl? Mes tikrai nežinome. Tai tiesiog… daro.
Tikslus derinimas
Ne viskam reikia išmokyti dirbtinio intelekto modelį nuo nulio. Galite galvoti apie 10 mln. USD, išleistų GPT-3, kaip mokėjimą dirbtinio intelekto išmokyti skaityti ir rašyti tobulą anglų kalbą. Bet jei viskas, ką norite padaryti, tai sukurti dirbtinį intelektą, kuris galėtų, tarkime, parašyti gerus mokslinius straipsnius, jums nereikia pradėti nuo nulio, kai jau egzistuoja AI, galintys skaityti angliškai: vietoj to galite „patobulinti“ tuos AI konkrečius duomenis, iš kurių norite mokytis, mokydami juos itin specifinių įgūdžių už nedidelę kainą. Tačiau tai darant yra rizika: toks tikslus derinimas neišvengiamai priklauso nuo pradinio mokymo, kurio galbūt nekontroliavote.
Lygiavimas
Vienu lygmeniu AI „suderinimas“ yra paprastas klausimas: ar iš tikrųjų išmokėme AI daryti tai, ko norime? Jei norime dirbtinio intelekto, kuris galėtų nuspėti, kurie kaliniai gali pakartotinai nusikalsti, bet AI naudoja rasinį profiliavimą kaip pagrindinę savo sprendimo dalį, galime tai apibūdinti kaip „nesuderintą“ su mūsų norais.
Kartais dirbtinis intelektas gali būti nesuderintas dėl blogų mokymo duomenų, kurie įterpia į juos paklaidas ir netikslumus. Pavyzdžiui, jei dirbtinis intelektas yra išmokytas atpažinti pakartotinius nusikaltėlius pagal kalinių duomenų rinkinį, jis niekada nesužinos apie tuos, kurie nepasiunčiami į kalėjimą; jei jis bus išmokytas kalbėti angliškai su duomenų rinkiniu, apimančiu visą Twitter, jis gali pradėti skleisti savitus įsitikinimus apie Billo Gateso, 5G ir Covid vakcinų ryšius.
Kitais atvejais AI gali būti nesuderintas, nes uždavėme neteisingą klausimą. LLM sukurta tam, kad nuspėtų, koks tekstas bus kitas, bet kartais taip nėra tikrai ko norime: kartais mieliau turėtume „teisingus“ atsakymus nei „tikėtinus“. Kartais norėtume gauti atsakymus, kuriuose nebūtų kartojami rasiniai įžeidinėjimai, nebūtų grasinama vartotojui arba nepateiktų nurodymų statyti bombas. Bet tai nėra klausimas, kurį uždavėme AI.
O kartais lygiavimas reiškia kažką egzistencesnio. Tarkime, kad prašote dirbtinio intelekto optimizuoti jūsų gamyklos aukštą, kad būtų maksimaliai padidintas valandinis našumas, ir jis nusprendžia, kad svarbiausias dalykas, kurį reikia padaryti, yra užtikrinti, kad ateinančius milijardus metų niekas nenutrauktų gamybos, todėl savo planuose slepiasi technologija, kuri nužudytų visas organines gyvybės formas. planetoje – tai taip pat būtų nesuderintas AI.
Jei norite perskaityti visą naujienlaiškio versiją, užsiprenumeruokite, kad kiekvieną antradienį gautuosiuose gautumėte „TechScape“.
