Greitai peržiūrėjus antraštes atrodo, kad šiais laikais generatyvus dirbtinis intelektas yra visur. Tiesą sakant, kai kurios iš tų antraščių iš tikrųjų galėjo būti parašytos generatyvaus AI, pavyzdžiui, „OpenAI“ „ChatGPT“ – pokalbių robotas, pademonstravęs neįtikėtiną gebėjimą sukurti tekstą, kurį, atrodo, parašė žmogus.
Bet ką žmonės iš tikrųjų turi omenyje sakydami „generatyvinis AI“?
Prieš generatyvų AI bumą per pastaruosius kelerius metus, kai žmonės kalbėjo apie AI, paprastai jie kalbėdavo apie mašininio mokymosi modelius, kurie gali išmokti prognozuoti remiantis duomenimis. Pavyzdžiui, tokie modeliai mokomi, naudojant milijonus pavyzdžių, nuspėti, ar tam tikra rentgeno nuotrauka rodo auglio požymius, ar konkretus skolininkas gali nevykdyti paskolos įsipareigojimų.
Generatyvusis AI gali būti laikomas mašininio mokymosi modeliu, kuris mokomas kurti naujus duomenis, o ne prognozuoti konkretų duomenų rinkinį. Generatyvioji AI sistema yra tokia, kuri išmoksta generuoti daugiau objektų, kurie atrodo kaip duomenys, pagal kuriuos buvo mokoma.
„Kalbant apie tikrąją generatyvinio AI ir kitų tipų AI pagrindą, skirtumai gali būti šiek tiek neaiškūs. Dažnai tie patys algoritmai gali būti naudojami abiem“, – sako Phillip Isola, MIT elektrotechnikos ir kompiuterių mokslo docentas bei Kompiuterių mokslo ir dirbtinio intelekto laboratorijos (CSAIL) narys.
Ir nepaisant triukšmo, kilusio išleidus ChatGPT ir jo kolegas, pati technologija nėra visiškai nauja. Šie galingi mašininio mokymosi modeliai remiasi daugiau nei 50 metų senumo tyrimais ir skaičiavimo pažanga.
Sudėtingumo padidėjimas
Ankstyvas generatyvaus AI pavyzdys yra daug paprastesnis modelis, žinomas kaip Markovo grandinė. Metodas pavadintas Andrejaus Markovo, rusų matematiko, 1906 m. įdiegusio šį statistinį metodą atsitiktinių procesų elgsenai modeliuoti, vardu. Mašininio mokymosi srityje Markovo modeliai jau seniai naudojami kito žodžio numatymo užduotims, pvz., automatinio užbaigimo funkcijai el. pašto programoje.
Numatant tekstą Markovo modelis generuoja kitą sakinio žodį, žiūrėdamas į ankstesnį žodį arba kelis ankstesnius žodžius. Tačiau kadangi šie paprasti modeliai gali žvelgti tik atgal, jie nėra tinkami generuoti patikimą tekstą, sako Tommi Jaakkola, Thomas Siebel elektros inžinerijos ir kompiuterių mokslo profesorius MIT, kuris taip pat yra CSAIL ir instituto narys. Duomenys, sistemos ir visuomenė (IDSS).
„Mes kūrėme dalykus dar prieš pastarąjį dešimtmetį, tačiau pagrindinis skirtumas čia yra objektų, kuriuos galime sukurti, sudėtingumas ir mastas, kuriuo galime mokyti šiuos modelius“, – aiškina jis.
Vos prieš kelerius metus mokslininkai buvo linkę sutelkti dėmesį į mašininio mokymosi algoritmo, kuris geriausiai išnaudotų konkretų duomenų rinkinį, paiešką. Tačiau šis dėmesys šiek tiek pasikeitė, ir daugelis mokslininkų dabar naudoja didesnius duomenų rinkinius, galbūt su šimtais milijonų ar net milijardų duomenų taškų, kad mokytų modelius, kurie gali pasiekti įspūdingų rezultatų.
Baziniai modeliai, kuriais grindžiamas ChatGPT ir panašios sistemos, veikia taip pat, kaip Markovo modelis. Tačiau vienas didelis skirtumas yra tas, kad „ChatGPT“ yra daug didesnis ir sudėtingesnis, turintis milijardus parametrų. Ir jis buvo apmokytas naudojant milžinišką duomenų kiekį – šiuo atveju didžiąją dalį viešai prieinamo teksto internete.
Šiame didžiuliame teksto korpuse žodžiai ir sakiniai atsiranda sekomis su tam tikromis priklausomybėmis. Šis pasikartojimas padeda modeliui suprasti, kaip iškirpti tekstą į statistinius gabalus, kuriuos galima nuspėti. Jis išmoksta šių teksto blokų modelius ir naudoja šias žinias siūlydamas, kas gali būti toliau.
Galingesnės architektūros
Nors didesni duomenų rinkiniai yra vienas iš katalizatorių, paskatinusių generatyvų AI bumą, daugybė didelių mokslinių tyrimų pažangos taip pat paskatino sudėtingesnes gilaus mokymosi architektūras.
2014 m. Monrealio universiteto mokslininkai pasiūlė mašininio mokymosi architektūrą, žinomą kaip generatyvinis priešininkų tinklas (GAN). GAN naudoja du modelius, kurie veikia kartu: vienas mokosi generuoti tikslinę išvestį (pvz., vaizdą), o kitas mokosi atskirti tikrus duomenis nuo generatoriaus išvesties. Generatorius bando apgauti diskriminatorių ir tuo metu išmoksta gauti tikroviškesnius rezultatus. Vaizdų generatorius StyleGAN yra pagrįstas šių tipų modeliais.
Difuzijos modelius po metų pristatė Stanfordo universiteto ir Kalifornijos universiteto Berklyje mokslininkai. Iteratyviai tobulindami savo išvestį, šie modeliai išmoksta generuoti naujus duomenų pavyzdžius, panašius į mokymo duomenų rinkinio pavyzdžius ir buvo naudojami kuriant tikroviškai atrodančius vaizdus. Sklaidos modelis yra teksto į vaizdą generavimo sistemos „Stable Diffusion“ pagrindas.
2017 m. „Google“ tyrėjai pristatė transformatoriaus architektūrą, kuri buvo naudojama kuriant didelius kalbos modelius, tokius kaip „ChatGPT“. Apdorojant natūralią kalbą, transformatorius užkoduoja kiekvieną žodį teksto korpuse kaip žetoną ir tada sukuria dėmesio žemėlapį, kuriame užfiksuoti kiekvieno žetono santykiai su visais kitais žetonais. Šis dėmesio žemėlapis padeda transformatoriui suprasti kontekstą, kai jis sukuria naują tekstą.
Tai tik keli iš daugelio metodų, kuriuos galima naudoti kuriant AI.
Taikymų spektras
Visiems šiems metodams bendra yra tai, kad jie paverčia įvestis į žetonų rinkinį, kuris yra skaitinis duomenų dalių atvaizdavimas. Kol jūsų duomenis galima konvertuoti į šį standartinį, prieigos rakto formatą, teoriškai galite taikyti šiuos metodus, kad generuotumėte naujus panašius duomenis.
„Jūsų rida gali skirtis, atsižvelgiant į tai, kiek triukšmingi jūsų duomenys ir kaip sunku išgauti signalą, tačiau tai tikrai artėja prie to, kaip bendrosios paskirties procesorius gali priimti bet kokius duomenis ir pradėti juos apdoroti vieninga forma. būdu“, – sako Isola.
Tai atveria daugybę generatyvaus AI programų.
Pavyzdžiui, Isolos grupė naudoja generatyvųjį dirbtinį intelektą, kad sukurtų sintetinius vaizdo duomenis, kurie galėtų būti naudojami kitai intelektualiai sistemai mokyti, pavyzdžiui, mokant kompiuterinio matymo modelį, kaip atpažinti objektus.
Jaakkola grupė naudoja generatyvųjį dirbtinį intelektą, kad sukurtų naujas baltymų struktūras arba tinkamas kristalų struktūras, kurios nurodo naujas medžiagas. Lygiai taip pat generatyvinis modelis mokosi kalbos priklausomybių, jei vietoj to rodomos kristalinės struktūros, jis gali išmokti ryšius, dėl kurių struktūras tampa stabilios ir įgyvendinamos, aiškina jis.
Tačiau nors generatyviniai modeliai gali pasiekti neįtikėtinų rezultatų, jie nėra geriausias pasirinkimas visų tipų duomenims. Atliekant užduotis, susijusias su struktūrinių duomenų numatymu, pvz., lentelės duomenimis skaičiuoklėje, generatyvūs AI modeliai paprastai yra geresni už tradicinius mašininio mokymosi metodus, sako Devavratas Shahas, Andrew ir Erna Viterbi, MIT elektros inžinerijos ir kompiuterių mokslo profesorius. ir IDSS bei Informacijos ir sprendimų sistemų laboratorijos narys.
„Mano nuomone, didžiausia jų vertė yra tapti šia nuostabia sąsaja su mašinomis, kurios yra draugiškos žmonėms. Anksčiau žmonės turėjo kalbėti su mašinomis mašinų kalba, kad viskas įvyktų. Dabar ši sąsaja suprato, kaip kalbėtis ir su žmonėmis, ir su mašinomis“, – sako Shahas.
Raudonų vėliavų pakėlimas
Generatyvieji AI pokalbių robotai dabar naudojami skambučių centruose, kad būtų galima pateikti klientų žmonių klausimus, tačiau ši programa pabrėžia vieną galimą raudoną šių modelių diegimo vėliavą – darbuotojų perkėlimą.
Be to, generatyvinis dirbtinis intelektas gali paveldėti ir platinti mokymo duomenų šališkumą arba sustiprinti neapykantą kurstančią kalbą ir melagingus teiginius. Modeliai gali plagijuoti ir gali generuoti turinį, kuris atrodo taip, lyg būtų sukurtas konkretaus žmogaus kūrėjo, todėl kyla galimų autorių teisių problemų.
Kita vertus, Shahas siūlo, kad generuojantis AI galėtų suteikti daugiau galimybių menininkams, kurie galėtų naudoti generatyvius įrankius, kad padėtų jiems sukurti kūrybinį turinį, kurio jie kitu atveju neturėtų priemonių.
Ateityje jis mato generatyvųjį AI, kuris pakeis daugelio disciplinų ekonomiką.
Viena daug žadanti ateities kryptis, kurią Isola mato generuojančiam dirbtiniam intelektui, yra jos naudojimas gamybai. Vietoj to, kad modelis sukurtų kėdės atvaizdą, galbūt jis galėtų sukurti kėdės, kurią būtų galima pagaminti, planą.
Jis taip pat mato ateities generatyviųjų AI sistemų panaudojimą kuriant apskritai protingesnius AI agentus.
„Yra skirtumų, kaip veikia šie modeliai ir kaip mes manome, kad žmogaus smegenys veikia, bet manau, kad yra ir panašumų. Mes turime galimybę mąstyti ir svajoti savo galvose, sugalvoti įdomių idėjų ar planų, ir manau, kad generatyvusis AI yra vienas iš įrankių, kuris taip pat įgalins agentus tai padaryti“, – sako Isola.
