Natūrali kalba perteikia idėjas, veiksmus, informaciją ir ketinimus per kontekstą ir sintaksę; Be to, duomenų bazėse yra jo tomai. Dėl to jis yra puikus duomenų šaltinis mokant mašininio mokymosi sistemas. Du MIT 6A MEng baigiamųjų darbų programos inžinerijos magistrantai Irene Terpstra ’23 ir Rujul Gandhi ’22 dirba su mentoriais MIT-IBM Watson AI Lab, kad panaudotų šią natūralios kalbos galią kurdami dirbtinio intelekto sistemas.
Kadangi kompiuterija tampa vis tobulesnė, mokslininkai nori patobulinti savo naudojamą aparatinę įrangą; tai reiškia naujoves kuriant naujas kompiuterių lustus. Ir kadangi jau yra literatūros apie modifikacijas, kurias galima atlikti norint pasiekti tam tikrus parametrus ir našumą, Terpstra ir jos mentoriai bei patarėjai Anantha Chandrakasan, MIT inžinerijos mokyklos dekanė ir Vannevar Bush elektros inžinerijos ir kompiuterių mokslo profesorė bei IBM tyrėja Xin Zhang, kuria AI algoritmą, kuris padeda kurti lustą.
„Kuriu darbo eigą, kad galėčiau sistemingai analizuoti, kaip šie kalbų modeliai gali padėti grandinės projektavimo procesui. Kokias argumentavimo galias jie turi ir kaip tai galima integruoti į lustų kūrimo procesą? sako Terpstra. „Ir iš kitos pusės, jei tai pasirodys pakankamai naudinga, [we’ll] pažiūrėkite, ar jie gali automatiškai sukurti lustus patys, prijungdami juos prie sustiprinimo mokymosi algoritmo.
Norėdami tai padaryti, Terpstra komanda kuria AI sistemą, kuri gali kartoti skirtingus dizainus. Tai reiškia, kad reikia eksperimentuoti su įvairiais iš anksto parengtais didelių kalbų modeliais (pvz., „ChatGPT“, „Llama 2“ ir „Bard“), naudojant atvirojo kodo grandinės simuliatoriaus kalbą, vadinamą „NGspice“, kuri turi kodo formos lusto parametrus, ir sustiprinimo mokymosi algoritmą. Naudodamiesi tekstiniais raginimais, mokslininkai galės paklausti, kaip fizinis lustas turėtų būti modifikuotas, kad būtų pasiektas tam tikras kalbos modelio tikslas, ir parengti koregavimo gaires. Tada tai perkeliama į sustiprinimo mokymosi algoritmą, kuris atnaujina grandinės dizainą ir išveda naujus fizinius lusto parametrus.
„Galutinis tikslas būtų sujungti šiuose dideliuose kalbų modeliuose esančias samprotavimo galias ir žinių bazę ir sujungti tai su pastiprinimo mokymosi algoritmų optimizavimo galia ir sukurti patį lustą“, – sako Terpstra.
Rujul Gandhi dirba su pačia neapdorota kalba. Būdama MIT bakalauro studijas, Gandhi tyrinėjo kalbotyrą ir kompiuterių mokslus, sujungdama juos savo MEng darbe. „Mane domino bendravimas tiek tarp žmonių, tiek tarp žmonių ir kompiuterių“, – sako Gandhi.
Robotai ar kitos interaktyvios AI sistemos yra viena sritis, kurioje komunikaciją turi suprasti ir žmonės, ir mašinos. Tyrėjai dažnai rašo instrukcijas robotams naudodami formalią logiką. Tai padeda užtikrinti, kad komandos būtų vykdomos saugiai ir kaip numatyta, tačiau naudotojams gali būti sunku suprasti formalią logiką, o natūralią kalbą lengva suprasti. Siekdami užtikrinti sklandų bendravimą, Gandhi ir jos patarėjai Yang Zhang iš IBM ir MIT docentas Chuchu Fan kuria analizatorių, kuris natūralios kalbos instrukcijas paverčia mašinai patogia forma. Naudodama kalbinę struktūrą, užkoduotą iš anksto parengto kodavimo-dekoderio modelio T5, ir anotuotų, pagrindinių anglų kalbos komandų, skirtų tam tikroms užduotims atlikti, duomenų rinkinį, Gandhi sistema identifikuoja mažiausius loginius vienetus arba atominius teiginius, kurie yra pateiktoje instrukcijoje.
„Kai duodate nurodymus, modelis nustato visas smulkesnes užduotis, kurias norite atlikti“, – sako Gandhi. „Tuomet, naudojant didelės apimties kalbos modelį, kiekvieną antrinę užduotį galima palyginti su turimais veiksmais ir objektais roboto pasaulyje, o jei kurios nors papildomos užduoties nepavyksta atlikti, nes neatpažįstamas tam tikras objektas arba veiksmas nėra įmanoma, sistema gali sustoti ir paprašyti vartotojo pagalbos.
Toks instrukcijų skirstymo į papildomas užduotis metodas taip pat leidžia jos sistemai suprasti logines priklausomybes, išreikštas anglų kalba, pvz., „atlikti užduotį X, kol įvyks Y“. Gandhi naudoja nuoseklių instrukcijų duomenų rinkinį įvairiose robotų užduočių srityse, pvz., navigacijos ir manipuliavimo srityse, daugiausia dėmesio skirdamas namų ūkio užduotims. Ji sako, kad duomenų, kurie parašyti taip, kaip žmonės kalbėtųsi, naudojimas turi daug privalumų, nes tai reiškia, kad vartotojas gali lanksčiau formuluoti savo nurodymus.
Kitas Gandhi projektas yra susijęs su kalbos modelių kūrimu. Kalbos atpažinimo kontekste kai kurios kalbos laikomos „mažais ištekliais“, nes jos gali neturėti daug transkribuotos kalbos arba visai neturėti rašytinės formos. „Viena iš priežasčių, kodėl kreipiausi į šią stažuotę MIT-IBM Watson AI laboratorijoje, buvo susidomėjimas kalbų apdorojimu mažai išteklių turinčiomis kalbomis“, – sako ji. „Šiandien daugelis kalbų modelių yra labai pagrįsti duomenimis, o kai nėra taip paprasta gauti visus tuos duomenis, tuomet reikia efektyviai naudoti ribotus duomenis.
Kalba yra tik garso bangų srautas, tačiau besikalbantys žmonės gali lengvai suprasti, kur prasideda ir baigiasi žodžiai ir mintys. Apdorojant kalbą, tiek žmonės, tiek kalbos modeliai naudoja savo turimą žodyną, kad atpažintų žodžių ribas ir suprastų reikšmę. Kalbose, kuriose nėra daug išteklių arba jų nėra, rašytinio žodyno gali iš viso nebūti, todėl tyrėjai negali jo pateikti modeliui. Vietoj to, modelis gali atkreipti dėmesį į tai, kokios garsų sekos skamba kartu dažniau nei kitos, ir daryti išvadą, kad tai gali būti atskiri žodžiai ar sąvokos. Gandhi tyrimų grupėje šie numanomi žodžiai surenkami į pseudožodyną, kuris naudojamas kaip mažai išteklių reikalaujančios kalbos ženklinimo metodas, sukuriant pažymėtus duomenis tolesniam naudojimui.
Kalbos technologijos taikomosios programos yra „beveik visur“, sako Gandhi. „Galite įsivaizduoti, kad žmonės gali bendrauti su programine įranga ir įrenginiais savo gimtąja kalba, savo gimtąja tarme. Galite įsivaizduoti, kad patobulintume visus mūsų naudojamus balso asistentus. Galite įsivaizduoti, kad jis naudojamas vertimui ar žodžiu.
