Žmonių kalbos yra labai sudėtingos, o kalbininkai jau seniai manė, kad neįmanoma išmokyti mašinos analizuoti kalbos garsus ir žodžių struktūras taip, kaip tai daro tyrėjai.
Tačiau MIT, Kornelio universiteto ir McGill universiteto mokslininkai žengė žingsnį šia kryptimi. Jie pademonstravo dirbtinio intelekto sistemą, kuri pati gali išmokti žmonių kalbų taisykles ir modelius.
Kai pateikti žodžiai ir pavyzdžiai, kaip tie žodžiai keičiasi, kad išreikštų skirtingas gramatines funkcijas (pvz., laiką). , didžioji raidė arba lytis) vienoje kalboje, šis mašininio mokymosi modelis pateikia taisykles, paaiškinančias, kodėl keičiasi tų žodžių formos. Pavyzdžiui, jis gali sužinoti, kad raidė „a“ turi būti pridėta prie žodžio pabaigos, kad vyriškoji giminės forma taptų moteriška serbų-kroatų kalboje.
Šis modelis taip pat gali automatiškai išmokti aukštesnės lygio kalbų modelius, kurie gali būti taikomi daugeliui kalbų, todėl galima pasiekti geresnių rezultatų.
Tyrėjai apmokė ir išbandė modelį, naudodami problemas iš kalbotyros vadovėlių, kuriuose buvo nurodyta skirtingomis kalbomis. Kiekviena problema turėjo žodžių rinkinį ir atitinkamus žodžių formos pakeitimus. Modelis sugebėjo sugalvoti teisingą taisyklių rinkinį, apibūdinantį tuos žodžių formos pakeitimus 60 procentams problemų.
)Ši sistema galėtų būti naudojama kalbų hipotezėms tirti ir subtiliems panašumus, kaip įvairios kalbos transformuoja žodžius. Tai ypač unikali, nes sistema atranda modelius, kuriuos gali lengvai suprasti žmonės, ir šiuos modelius gauna iš nedidelio duomenų kiekio, pavyzdžiui, kelių dešimčių žodžių. Ir užuot naudojusi vieną didžiulį duomenų rinkinį vienai užduočiai atlikti, sistema naudoja daug mažų duomenų rinkinių, o tai yra artimesnė tam, kaip mokslininkai siūlo hipotezes – jie žiūri į kelis susijusius duomenų rinkinius ir pateikia modelius, paaiškinančius reiškinius tuose duomenų rinkiniuose. „Viena iš šio darbo motyvų buvo mūsų noras ištirti sistemas, kurios mokosi duomenų rinkinių modelių, pateikiamų žmonėms suprantamu būdu. Ar užuot mokęsis svorių, modelis gali išmokti posakių ar taisyklių? Ir mes norėjome sužinoti, ar galėtume sukurti šią sistemą, kad ji mokytųsi iš daugybės tarpusavyje susijusių duomenų rinkinių, kad sistema šiek tiek sužinotų, kaip geriau modeliuoti kiekvieną“, – sako Kevinas Ellisas. , mokslų daktaras 20, Kornelio universiteto kompiuterių mokslų docentas ir pagrindinis šio straipsnio autorius. Straipsnyje prie Ellis prisijungia MIT fakulteto nariai Adamas Albrightas, kalbotyros profesorius; Armando Solar-Lezama, kompiuterių mokslo ir dirbtinio intelekto laboratorijos (CSAIL) profesorius ir asocijuotas direktorius; ir Joshua B. Tenenbaum, Paul E. Newton, Smegenų ir pažinimo mokslų katedros kognityvinių mokslų ir skaičiavimo profesorius bei CSAIL narys. taip pat vyresnysis autorius
Timothy J. O’Donnell, McGill universiteto Lingvistikos katedros docentas ir Kanados CIFAR AI katedra Mila Kvebeko dirbtinio intelekto institute. Tyrimas šiandien paskelbtas Nature Communications.
Žvelgiant į kalbą
Siekdami sukurti AI sistemą, kuri galėtų automatiškai išmokti modelį iš kelių susijusių duomenų rinkinių, mokslininkai pasirinko ištirti fonologijos (garsų modelių studijos) ir morfologijos (žodžių struktūros tyrinėjimo) sąveiką.
Duomenys iš kalbotyros vadovėlių buvo ideali bandymų vieta, nes daugelis kalbų turi bendrų bruožų, o vadovėlis problemos demonstruoja specifinius kalbinius reiškinius. Kolegijos studentai taip pat gali išspręsti vadovėlių problemas gana paprastai, tačiau tie studentai paprastai turi išankstinių žinių apie fonologiją iš ankstesnių pamokų, kuriomis jie svarsto naujas problemas.
Ellis, kuris uždirbo įgijo mokslų daktaro laipsnį MIT ir jam bendrai patarė Tenenbaum ir Solar-Lezama. Pirmą kartą apie morfologiją ir fonologiją sužinojo MIT klasėje, kurią dėstė O’Donnell, kuris tuo metu buvo postdoc, ir Albright.
Kalbininkai manė, kad norint iš tikrųjų suprasti žmogaus kalbos taisykles, įsijausti į tai, kas verčia sistemą tiksėti, reikia būti žmogumi. Norėjome išsiaiškinti, ar galime pamėgdžioti tas žinias ir samprotavimus, kuriuos žmonės (lingvistai) pateikia atliekant užduotį“, – sako Albright.
Sukurti modelį, kuris galėtų išmokti taisyklių rinkinį. Žodžiams, vadinamiems gramatika, surinkti mokslininkai naudojo mašininio mokymosi techniką, žinomą kaip Bajeso programos mokymasis. Taikant šią techniką, modelis išsprendžia problemą parašydamas kompiuterinę programą.
Šiuo atveju programa yra gramatika, kurią modelis laiko labiausiai tikėtina žodžių ir reikšmių paaiškinimu. lingvistikos problema. Jie sukūrė modelį naudodami „Sketch“ – populiarų programų sintezatorių, kurį MIT sukūrė „Solar-Lezama“.
Tačiau „Sketch“ gali užtrukti daug laiko, kol sugalvojo labiausiai tikėtiną programą. Norėdami tai išvengti, tyrėjai turėjo sukurti modelį po vieną, parašydami nedidelę programą, kad paaiškintų kai kuriuos duomenis, tada parašydami didesnę programą, kuri modifikuoja tą mažą programą, kad apimtų daugiau duomenų, ir tt
. ) Jie taip pat sukūrė modelį, kad sužinotų, kaip atrodo „geros“ programos. Pavyzdžiui, jis gali išmokti bendrų taisyklių dėl paprastų rusiškų problemų, kurias taikytų sudėtingesnei lenkų kalbai, nes kalbos yra panašios. Tai leidžia modeliui lengviau išspręsti Lenkijos problemą.
Spręsti vadovėlio problemas Kai jie išbandė modelį naudodami 60 vadovėlio uždavinius, jis sugebėjo rasti gramatiką, atitinkančią visą užduotyje pateiktą žodžių rinkinį . procentų atvejų ir teisingai atitiko daugumą žodžių formos pakeitimų 79 procentuose uždavinių.
Tyrėjai taip pat bandė iš anksto užprogramuoti modelį turėdami tam tikrų žinių, kurių „turėtų“ išmokti, jei jis lankytų kalbotyros kursą, ir parodė, kad jis gali geriau išspręsti visas problemas.
„Vienas šio darbo iššūkis buvo išsiaiškinti, ar tai, ką modelis daro, buvo pagrįsta. Tai nėra situacija, kai yra vienas skaičius, kuris yra vienintelis teisingas atsakymas. Yra daugybė galimų sprendimų, kuriuos galite priimti kaip teisingus, artimus teisingam ir pan.“, – sako Albright.
Modelis dažnai sugalvodavo netikėtų sprendimų. Vienu atveju jis aptiko laukiamą atsakymą į lenkų kalbos problemą, bet ir kitą teisingą atsakymą, kuriame buvo pasinaudota vadovėlio klaida. Tai rodo, kad modelis gali „derinti“ lingvistikos analizę, sako Ellis.
Tyrėjai taip pat atliko bandymus, kurie parodė, kad modelis sugebėjo išmokti kai kuriuos bendruosius fonologinių taisyklių šablonus, kuriuos būtų galima pritaikyti visos problemos.
„Vienas iš labiausiai nustebinusių dalykų yra tai, kad galėjome mokytis įvairių kalbų, bet neatrodė, kad tai būtų labai reikšminga“, – sako Ellis. „Tai rodo du dalykus. Galbūt mums reikia geresnių metodų, kaip išmokti spręsti problemas. Ir galbūt, jei negalime sugalvoti tų metodų, šis darbas gali padėti mums išsiaiškinti skirtingas idėjas, kokiomis žiniomis dalytis sprendžiant problemas.“
Ateityje mokslininkai nori naudoti savo modelį, kad surastų netikėtus kitų sričių problemų sprendimus. Jie taip pat galėtų taikyti šią techniką daugiau situacijų, kai aukštesnio lygio žinias galima pritaikyti tarpusavyje susijusiuose duomenų rinkiniuose. Pavyzdžiui, galbūt jie galėtų sukurti sistemą, leidžiančią iš duomenų rinkinių daryti diferencialines lygtis apie skirtingų objektų judėjimą, sako Ellis.
„Šis darbas rodo, kad turime keletą metodų, kurie gali mastu, išmokite indukcinių šališkumo. Bet nemanau, kad mes iki galo supratome, net ir dėl šių vadovėlių problemų, indukcinį šališkumą, leidžiantį kalbininkui priimti tikėtinas gramatikas, o atmesti juokingas“, – priduria jis.
)“Šis darbas atveria daug įdomių vietų būsimiems tyrimams. Mane ypač domina galimybė, kad Elliso ir kolegų (Bayesian Program Learning, BPL) ištirtas požiūris gali kalbėti apie tai, kaip kūdikiai įgyja kalbą“, – sako T. Florianas Jaegeris, universiteto smegenų ir pažinimo mokslų bei informatikos profesorius. Ročesterio, kuris nebuvo šio straipsnio autorius. „Ateities darbe gali kilti klausimas, pavyzdžiui, pagal kokius papildomus indukcijos šališkumus (prielaidas apie universaliąją gramatiką) BPL metodas gali sėkmingai pasiekti žmogui panašų mokymosi elgesį, atsižvelgiant į duomenų, kuriuos kūdikiai stebi įsisavindami kalbą, tipą. Manau, būtų įdomu sužinoti, ar nėra indukcinių paklaidų, kurios yra dar abstraktesnės nei Elliso ir jo komandos nuomone, pvz., šališkumo, atsirandančio dėl žmogaus informacijos apdorojimo ribų (pvz., atminties suvaržymai dėl priklausomybės ilgio arba talpos apribojimai. informacijos, kurią galima apdoroti per laiką) – pakaktų sukelti kai kuriuos žmonių kalbose stebimus modelius.“
) Šį darbą iš dalies finansavo Oro pajėgų Mokslinių tyrimų biuras, Smegenų, protų ir mašinų centras, MIT-IBM Watson AI Lab, Kanados gamtos mokslų ir inžinerinių tyrimų taryba, Fonds de Recherche du Québec – Société et Culture ), Kanados CIFAR AI kėdžių programa, Nacionalinis mokslo fondas (NSF) ir NSF absolventų stipendija.
)
