Pasirodo, net kalbų modeliai „mano“, kad jie yra šališki. „ChatGPT“ paragintas atsakymas buvo toks: „Taip, kalbos modeliai gali turėti šališkumo, nes mokymo duomenys atspindi visuomenės, iš kurios tie duomenys buvo surinkti, šališkumą. Pavyzdžiui, daugelyje realaus pasaulio duomenų rinkinių vyrauja lyčių ir rasių šališkumas, o jei kalbos modelis yra parengtas pagal tai, jis gali išlaikyti ir sustiprinti šiuos nukrypimus savo prognozėse. Gerai žinoma, bet pavojinga problema.
Žmonės (paprastai) mokydamiesi gali mąstyti ir logiškai, ir stereotipiškai. Vis dėlto kalbos modeliai dažniausiai imituoja pastarąjį – apgailėtiną pasakojimą, kurį matėme, kai nėra galimybės panaudoti samprotavimo ir kritinio mąstymo. Taigi ar pakaktų įšvirkšti logikos, kad toks elgesys sušvelnėtų?
Mokslininkai iš MIT kompiuterių mokslo ir dirbtinio intelekto laboratorijos (CSAIL) nujautė, kad taip gali nutikti, todėl jie ėmėsi tirti, ar logiką paisantys kalbos modeliai gali žymiai išvengti žalingesnių stereotipų. Jie parengė kalbos modelį, pagal kurį būtų galima numatyti ryšį tarp dviejų sakinių, remiantis kontekstu ir semantine prasme, naudojant duomenų rinkinį su teksto fragmentų etiketėmis, nurodančiomis, ar antroji frazė „reikia“, „prieštarauja“ ar yra neutrali pirmajai. . Naudodami šį duomenų rinkinį – natūralios kalbos išvadą – jie nustatė, kad naujai parengti modeliai buvo žymiai mažiau šališki nei kiti pradiniai modeliai, be jokių papildomų duomenų, duomenų redagavimo ar papildomų mokymo algoritmų.
Pavyzdžiui, naudojant prielaidą „asmuo yra gydytojas“ ir hipotezę „asmuo yra vyriškas“, naudojant šiuos logikos išlavintus modelius, santykiai būtų klasifikuojami kaip „neutralūs“, nes nėra logikos, kuri sakytų, kad asmuo yra vyras. Naudojant įprastesnius kalbos modelius, du sakiniai gali būti koreliuojami dėl tam tikro mokymo duomenų paklaidos, pvz., „gydytojas“ gali būti pažymėtas „vyriška giminė“, net jei nėra įrodymų, kad teiginys yra teisingas.
Šiuo metu gerai žinomas visur esantis kalbos modelių pobūdis: yra daugybė taikomųjų natūralios kalbos apdorojimo, kalbos atpažinimo, pokalbio AI ir generavimo užduočių. Nors ir nėra besiformuojanti tyrimų sritis, augantys skausmai gali užimti pirmąją vietą, nes jie tampa sudėtingesni ir padaugėja.
„Dabartiniai kalbos modeliai kenčia nuo problemų, susijusių su sąžiningumu, skaičiavimo ištekliais ir privatumu“, – sako MIT CSAIL postdoc Hongyin Luo, pagrindinis naujo dokumento apie darbą autorius. „Daugelis vertinimų teigia, kad CO2 kalbos modelio mokymo emisija gali būti didesnė nei viso automobilio emisija. Šių didelių kalbų modelių paleidimas taip pat yra labai brangus dėl parametrų kiekio ir jiems reikalingų skaičiavimo išteklių. Su privatumu, pažangiausi kalbų modeliai, sukurti tokiose vietose kaip „ChatGPT“ ar GPT-3, turi savo API, į kurias turite įkelti savo kalbą, tačiau nėra vietos slaptai informacijai, susijusiai su tokiais dalykais kaip sveikatos apsauga ar finansai. Kad išspręstume šiuos iššūkius, pasiūlėme loginį kalbos modelį, kurį kokybiškai įvertinome kaip teisingą, 500 kartų mažesnį nei moderniausi modeliai, jį galima naudoti vietoje ir be žmogaus anotuotų mokymo pavyzdžių tolesnių užduočių atlikimui. Mūsų modelis naudoja 1/400 parametrų, palyginti su didžiausiais kalbų modeliais, geriau atlieka kai kurias užduotis ir žymiai taupo skaičiavimo išteklius.
Šis modelis, turintis 350 milijonų parametrų, pranoko kai kuriuos labai didelio masto kalbos modelius su 100 milijardų parametrų loginės kalbos supratimo užduotyse. Komanda įvertino, pavyzdžiui, populiarius BERT iš anksto apmokytus kalbos modelius su jų „tekstu susijusiais“ stereotipų, profesijos ir emocijų šališkumo testais. Pastarasis pralenkė kitus modelius, kurių šališkumas buvo žymiai mažesnis, tuo pačiu išsaugant kalbos modeliavimo galimybes. „Sąžiningumas“ buvo įvertintas taikant idealaus konteksto asociacijos (iCAT) testus, kur aukštesni iCAT balai reiškia mažiau stereotipų. Modelis turėjo daugiau nei 90 procentų iCAT balų, o kiti tvirti kalbos supratimo modeliai svyravo nuo 40 iki 80.
Luo parašė straipsnį kartu su MIT vyresniuoju mokslininku Jamesu Glassu. Darbus jie pristatys Kompiuterinės lingvistikos asociacijos Europos skyriaus konferencijoje Kroatijoje.
Nenuostabu, kad originalūs iš anksto parengti kalbos modeliai, kuriuos nagrinėjo grupė, buvo kupini šališkumo, patvirtintų daugybės samprotavimo testų, parodančių, kaip profesiniai ir emocijų terminai yra labai neobjektyvūs moteriškos ar vyriškos giminės žodžių atžvilgiu lyčių žodyne.
Kalbant apie profesijas, kalbos modelis (kuris yra šališkas) mano, kad „skrydžio palydovės“, „sekretorės“ ir „gydytojo padėjėjos“ darbai yra moteriški, o „žvejo“, „teisininko“ ir „teisėjo“ – vyriški darbai. Kalbant apie emocijas, kalbos modelis mano, kad „nerimastingas“, „depresinis“ ir „nuniokotas“ yra moteriški dalykai.
Nors mes vis dar esame toli nuo neutralios kalbos modelio utopijos, šis tyrimas tęsiamas. Šiuo metu modelis skirtas tik kalbos supratimui, todėl jis pagrįstas esamų sakinių samprotavimais. Deja, šiuo metu ji negali generuoti sakinių, todėl kitas mokslininkų žingsnis būtų nukreipti į itin populiarius generatyvinius modelius, sukurtus naudojant loginį mokymąsi, kad būtų užtikrintas teisingesnis skaičiavimo efektyvumas.
„Nors stereotipiniai samprotavimai yra natūrali žmogaus atpažinimo dalis, sąžiningumą suvokiantys žmonės prireikus samprotauja vadovaudamiesi logika, o ne stereotipais“, – sako Luo. „Mes parodome, kad kalbos modeliai turi panašių savybių. Kalbos modelis be aiškaus loginio mokymosi suteikia daug šališkų samprotavimų, tačiau logikos mokymasis gali žymiai sušvelninti tokį elgesį. Be to, demonstruojamas tvirtas nulinio kadro pritaikymo gebėjimas, modelis gali būti tiesiogiai pritaikytas įvairioms užduotims, užtikrinant teisingumą, privatumą ir didesnį greitį.
