Karas Ukrainoje
Kognityviniai mokslininkai jau seniai siekė suprasti, kodėl vienus sakinius sunkiau suprasti nei kitus. Tyrėjai mano, kad bet kokiai kalbai apie kalbos supratimą būtų naudinga suprasti supratimo sunkumus.
Pastaraisiais metais mokslininkai sėkmingai sukūrė du modelius, paaiškinančius du reikšmingus sunkumų suprasti ir sudaryti sakinius tipus. Nors šie modeliai sėkmingai numato konkrečius supratimo sunkumų modelius, jų prognozės yra ribotos ir nevisiškai atitinka elgesio eksperimentų rezultatus. Be to, iki šiol mokslininkai negalėjo integruoti šių dviejų modelių į nuoseklią paskyrą.
Naujas tyrimas, kuriam vadovavo MIT Smegenų ir pažinimo mokslų departamento (BCS) tyrėjai, dabar pateikia tokį vieningą kalbos supratimo sunkumų paaiškinimą. Remdamiesi naujausia mašininio mokymosi pažanga, mokslininkai sukūrė modelį, kuris geriau nuspėja, kaip žmonės lengvai kuria ir supranta sakinius. Jie neseniai paskelbė savo išvadas Nacionalinės mokslų akademijos darbai.
Vyresnieji straipsnio autoriai yra BCS profesoriai Rogeris Levy ir Edwardas (Tedas) Gibsonas. Pagrindinis autorius yra buvęs Levy ir Gibsono studentas Michaelas Hahnas, dabar Saro universiteto profesorius. Antrasis autorius yra Richardas Futrellas, kitas buvęs Levy ir Gibson studentas, kuris dabar yra Kalifornijos universiteto Irvine profesorius.
„Tai ne tik padidinta esamų sąskaitų, susijusių su supratimo sunkumais, versija“, – sako Gibsonas; „Mes siūlome naują pagrindinį teorinį požiūrį, kuris leidžia geriau prognozuoti.”
Tyrėjai rėmėsi dviem esamais modeliais, kad sukurtų vieningą teorinį supratimo sunkumų paaiškinimą. Kiekvienas iš šių senesnių modelių identifikuoja atskirą sutrikusio supratimo kaltininką: sunku tikėtis ir sunkumų atgaunant atmintį. Mes patiriame sunkumų laukdami, kai sakinys neleidžia mums lengvai numatyti būsimų žodžių. Mums sunku atgauti atmintį, kai sunkiai sekame sakinį, kuriame yra sudėtinga įterptųjų sakinių struktūra, pvz.: „Faktas, kad gydytojas, kuriuo advokatas nepasitikėjo, suerzino pacientą, nustebino“.
2020 m. Futrell pirmą kartą sukūrė teoriją, sujungiančią šiuos du modelius. Jis teigė, kad atminties ribos turi įtakos ne tik sakinių su įterptaisiais sakiniais paieškai, bet ir visokiam kalbos supratimui; mūsų atminties apribojimai neleidžia mums tobulai atvaizduoti sakinių kontekstų kalbos supratimo metu.
Taigi, pagal šį vieningą modelį, atminties suvaržymai gali sukurti naują laukimo sunkumų šaltinį. Mums gali būti sunku numatyti būsimą žodį sakinyje, net jei žodis turėtų būti lengvai nuspėjamas iš konteksto – jei patį sakinio kontekstą sunku išsaugoti atmintyje. Apsvarstykite, pavyzdžiui, sakinį, prasidedantį žodžiais „Bobas išmetė šiukšliadėžę…“, nesunkiai galime numatyti galutinį žodį – „lauk“. Bet jei sakinio kontekstas prieš galutinį žodį yra sudėtingesnis, kyla sunkumų laukiant: „Bobas išmetė seną šiukšlę, kuri keletą dienų sėdėjo virtuvėje. [out]“.
Tyrėjai kiekybiškai įvertina supratimo sunkumus, matuodami laiką, per kurį skaitytojai atsako į skirtingas supratimo užduotis. Kuo ilgesnis atsakymo laikas, tuo sunkiau suprasti duotą sakinį. Ankstesnių eksperimentų rezultatai parodė, kad Futrell vieninga paskyra numatė skaitytojų supratimo sunkumus geriau nei du senesni modeliai. Tačiau jo modelis nenustatė, kurias sakinio dalis esame linkę pamiršti – ir kaip tiksliai ši atminties gavimo nesėkmė trikdo supratimą.
Naujasis Hahno tyrimas užpildo šias spragas. Naujajame dokumente MIT kognityviniai mokslininkai prisijungė prie Futrell, kad pasiūlytų papildytą modelį, pagrįstą nauja nuoseklia teorine sistema. Naujasis modelis identifikuoja ir ištaiso trūkstamus Futrell vieningos paskyros elementus ir pateikia naujas tiksliai sureguliuotas prognozes, kurios geriau atitinka empirinių eksperimentų rezultatus.
Kaip ir pirminiame Futrello modelyje, mokslininkai pradeda nuo minties, kad mūsų protas dėl atminties apribojimų nevisiškai atspindi sakinius, su kuriais susiduriame. Tačiau prie to jie prideda teorinį pažinimo efektyvumo principą. Jie siūlo, kad protas būtų linkęs panaudoti savo ribotus atminties išteklius taip, kad optimizuotų jo gebėjimą tiksliai numatyti naujų žodžių įvedimus sakiniuose.
Ši sąvoka leidžia daryti keletą empirinių prognozių. Remiantis viena iš pagrindinių prognozių, skaitytojai kompensuoja savo netobulą atmintį, pasikliaudami savo žiniomis apie statistinius žodžių įvykius, kad galėtų netiesiogiai rekonstruoti sakinius, kuriuos jie skaito savo mintyse. Todėl sakinius, kuriuose yra retesnių žodžių ir frazių, sunkiau puikiai įsiminti, todėl sunkiau numatyti būsimus žodžius. Dėl to tokius sakinius paprastai yra sunkiau suprasti.
Norėdami įvertinti, ar šis numatymas atitinka mūsų kalbinį elgesį, mokslininkai panaudojo GPT-2, AI natūralios kalbos įrankį, pagrįstą neuroninio tinklo modeliavimu. Šis mašininio mokymosi įrankis, pirmą kartą paviešintas 2019 m., leido tyrėjams išbandyti modelį naudojant didelio masto tekstinius duomenis tokiu būdu, kuris anksčiau nebuvo įmanomas. Tačiau galingas GPT-2 kalbos modeliavimo pajėgumas taip pat sukėlė problemą: priešingai nei žmonių, nepriekaištinga GPT-2 atmintis puikiai atvaizduoja visus žodžius net labai ilguose ir sudėtinguose tekstuose, kuriuos ji apdoroja. Norėdami tiksliau apibūdinti žmogaus kalbos supratimą, mokslininkai pridėjo komponentą, kuris imituoja į žmones panašius atminties išteklių apribojimus (kaip ir pirminiame Futrell modelyje), ir naudojo mašininio mokymosi metodus, kad optimizuotų tų išteklių naudojimą, kaip ir naujajame pasiūlytame modelyje. Gautas modelis išsaugo GPT-2 gebėjimą tiksliai nuspėti žodžius didžiąją laiko dalį, bet rodo į žmones panašius suskirstymus sakinių su retais žodžių ir frazių deriniais atvejais.
„Tai nuostabi iliustracija, kaip šiuolaikiniai mašininio mokymosi įrankiai gali padėti plėtoti pažinimo teoriją ir mūsų supratimą apie tai, kaip veikia protas, – sako Gibsonas. – Net prieš kelerius metus negalėjome atlikti šio tyrimo.
Tyrėjai mašininio mokymosi modeliui pateikė sakinių rinkinį su sudėtingais įterptaisiais sakiniais, tokiais kaip: „Pranešimas, kad gydytojas, kuriuo advokatas nepasitikėjo, suerzino pacientą, nustebino“. Tada tyrėjai paėmė šiuos sakinius ir pakeitė jų pradinius daiktavardžius – „pranešti“ aukščiau esančiame pavyzdyje – kitais daiktavardžiais, kurių kiekvienas turi savo tikimybę, kad įvyks su sekančiu sakiniu arba ne. Kai kurie daiktavardžiai palengvino AI programai „suvokiamus“ sakinius, kuriems jie buvo priskirti. Pavyzdžiui, modelis galėjo tiksliau nuspėti, kaip šie sakiniai baigiasi, kai jie prasidėjo įprasta fraze „Faktas, kad“, nei tada, kai jie prasidėjo retesnė fraze „Praneškite, kad“.
Tada mokslininkai nusprendė patvirtinti AI pagrįstus rezultatus, atlikdami eksperimentus su panašius sakinius skaitančiais dalyviais. Jų atsako laikas į supratimo užduotis buvo panašus į modelio prognozes. „Kai sakiniai prasideda žodžiais „pranešti apie tai“, žmonės buvo linkę prisiminti sakinį iškreiptai“, – sako Gibsonas. Reta frazė dar labiau suvaržė jų atmintį ir dėl to jų supratimą.
Šie rezultatai rodo, kad naujasis modelis pranoksta esamus modelius, numatydamas, kaip žmonės apdoroja kalbą.
Kitas modelio pranašumas yra jo gebėjimas pasiūlyti skirtingas prognozes skirtingomis kalbomis. „Ankstesni modeliai žinojo, kodėl gali būti sunkiau dirbti su tam tikromis kalbos struktūromis, pavyzdžiui, sakiniais su įterptaisiais sakiniais, atsižvelgiant į atminties apribojimus, tačiau mūsų naujasis modelis gali paaiškinti, kodėl tie patys apribojimai skirtingomis kalbomis elgiasi skirtingai“, – sako Levy. „Pavyzdžiui, sakiniai su centre įterptais sakiniais yra lengvesni tiems, kuriems vokiškai kalba gimtoji, nei tiems, kuriems yra gimtoji anglų kalba, nes vokiečiai yra įpratę skaityti sakinius, kai šalutiniai sakiniai nustumia veiksmažodį į sakinio pabaigą.
Levy teigimu, reikia atlikti tolesnius modelio tyrimus, kad būtų galima nustatyti netikslaus sakinio vaizdavimo priežastis, išskyrus įterptuosius sakinius. „Yra ir kitokių „painiočių“, kurias turime išbandyti. Tuo pat metu, priduria Hahn, „modelis gali numatyti kitų „sumišimų”, apie kuriuos niekas net nepagalvojo. Dabar mes stengiamės jas rasti ir išsiaiškinti, ar jie turi įtakos žmogaus supratimui, kaip prognozuota.”
Kitas būsimų tyrimų klausimas yra tai, ar naujasis modelis paskatins permąstyti ilgą mokslinių tyrimų, daugiausia dėmesio skiriant sakinių integravimo sunkumams, liniją: „Daugelis tyrinėtojų pabrėžė sunkumus, susijusius su procesu, kurio metu savo mintyse atkuriame kalbos struktūras. sako Levy. „Naujasis modelis galbūt parodo, kad sunkumas yra susijęs ne su šių sakinių psichikos rekonstrukcijos procesu, o su psichinės reprezentacijos palaikymu, kai jie jau yra sukonstruoti. Didelis klausimas yra, ar tai yra du skirtingi dalykai, ar ne.”
Vienaip ar kitaip, priduria Gibsonas, „toks darbas žymi šių klausimų tyrimų ateitį“.
