Autonominėms sistemoms ir dirbtiniam intelektui kasdieniame gyvenime vis labiau paplitus, atsiranda naujų metodų, padedančių žmonėms patikrinti, ar šios sistemos veikia taip, kaip tikėtasi. Vienas metodas, vadinamas formaliosiomis specifikacijomis, naudoja matematines formules, kurios gali būti išverstos į natūralios kalbos išraiškas. Kai kurie mokslininkai teigia, kad šis metodas gali būti naudojamas žmonėms suprantamu būdu paaiškinti DI priimtus sprendimus.
MIT Linkolno laboratorijos mokslininkai norėjo patikrinti tokius aiškinamumo teiginius. Jų išvados rodo priešingai: neatrodo, kad formalios specifikacijos būtų aiškinamos žmonėms. Komandos tyrime dalyvių buvo paprašyta patikrinti, ar AI agento planas pavyktų virtualiame žaidime. Pateikiant formalią plano specifikaciją, dalyviai buvo teisingi mažiau nei pusę laiko.
„Rezultatai yra blogos naujienos tyrėjams, tvirtinusiems, kad formalūs metodai suteikia sistemoms aiškinimo. Tai gali būti tiesa tam tikra ribota ir abstrakčia prasme, bet ne tai, kas artima praktiniam sistemos patvirtinimui”, – sako Hosea Siu, tyrėjas. laboratorijos AI technologijų grupė. Grupės pranešimas buvo priimtas į 2023 m. tarptautinę intelektualių robotų ir sistemų konferenciją, vykusią anksčiau šį mėnesį.
Aiškinamumas yra svarbus, nes jis leidžia žmonėms pasitikėti mašina, kai ji naudojama realiame pasaulyje. Jei robotas arba AI gali paaiškinti savo veiksmus, tada žmonės gali nuspręsti, ar jį reikia koreguoti, ar jais galima pasitikėti, kad priims teisingus sprendimus. Interpretuojama sistema taip pat leidžia technologijų naudotojams – ne tik kūrėjams – suprasti jos galimybes ir ja pasitikėti. Tačiau aiškinamumas jau seniai buvo iššūkis AI ir autonomijos srityje. Mašininio mokymosi procesas vyksta „juodojoje dėžėje“, todėl modelių kūrėjai dažnai negali paaiškinti, kodėl ir kaip sistema priėmė tam tikrą sprendimą.
„Kai mokslininkai sako, kad „mūsų mašininio mokymosi sistema yra tiksli“, mes klausiame „kiek tiksliai? ir „kokius duomenis naudojate?” ir jei ši informacija nepateikiama, pretenziją atmetame. Nedarėme tiek daug, kai mokslininkai sako, kad „mūsų mašininio mokymosi sistema yra aiškinama“, ir mes turime pradėti laikyti šiuos teiginius, kad jie būtų labiau tikrinami“, – sako Siu. .
Pamestas vertime
Savo eksperimento metu tyrėjai siekė nustatyti, ar dėl formalių specifikacijų sistemos elgesys tapo labiau interpretuojamas. Jie sutelkė dėmesį į žmonių gebėjimą naudoti tokias specifikacijas sistemai patvirtinti, ty suprasti, ar sistema visada atitiko vartotojo tikslus.
Oficialių specifikacijų taikymas šiuo tikslu iš esmės yra jo pirminio naudojimo šalutinis produktas. Formalios specifikacijos yra platesnio formalių metodų rinkinio, naudojančio logines išraiškas kaip matematinę sistemą modelio veikimui apibūdinti, dalis. Kadangi modelis sukurtas remiantis loginiu srautu, inžinieriai gali naudoti „modelių tikrintuvus“, kad matematiškai įrodytų faktus apie sistemą, įskaitant tai, kada sistema gali atlikti užduotį arba jos neįmanoma. Dabar mokslininkai bando naudoti tą pačią sistemą kaip vertimo įrankį žmonėms.
„Mokslininkai painioja faktą, kad formalios specifikacijos turi tikslią semantiką, nes jos yra interpretuojamos žmonėms. Tai nėra tas pats dalykas”, – sako Siu. „Supratome, kad beveik niekas netikrino, ar žmonės iš tikrųjų suprato rezultatus.
Komandos eksperimento metu dalyvių buvo paprašyta patvirtinti gana paprastą elgesį su robotu, žaidžiančiu vėliavos paėmimo žaidimą, iš esmės atsakant į klausimą „Jei robotas tiksliai laikosi šių taisyklių, ar jis visada laimi?
Dalyviai buvo ir formalių metodų ekspertai, ir neekspertai. Jie gavo formalias specifikacijas trimis būdais – „neapdorota“ logine formule, formule, išversta į natūraliai kalbai artimesnius žodžius, ir sprendimų medžio formatu. Visų pirma, sprendimų medžiai dirbtinio intelekto pasaulyje dažnai laikomi žmonėms suprantamu būdu parodyti AI ar roboto sprendimų priėmimą.
Rezultatai: „Patvirtinimo našumas apskritai buvo gana baisus, maždaug 45 procentų tikslumas, neatsižvelgiant į pateikimo tipą“, – sako Siu.
Užtikrintai klysta
Tie, kurie anksčiau buvo apmokyti formalių specifikacijų, sekėsi tik šiek tiek geriau nei naujokai. Tačiau ekspertai teigė kur kas labiau pasitikintys savo atsakymais, nepaisant to, ar jie buvo teisingi, ar ne. Visur žmonės buvo linkę per daug pasitikėti pateiktų specifikacijų teisingumu, o tai reiškia, kad ignoravo taisyklių rinkinius, leidžiančius pralaimėti žaidimus. Tyrėjai teigia, kad šis patvirtinimo šališkumas ypač susijęs su sistemos patvirtinimu, nes žmonės labiau linkę nepastebėti gedimo režimų.
„Mes nemanome, kad šis rezultatas reiškia, kad turėtume atsisakyti formalių specifikacijų, kaip būdo paaiškinti žmonėms sistemos elgesį. Tačiau manome, kad reikia įdėti daug daugiau darbo kuriant, kaip jie pateikiami žmonėms ir darbo eiga, kurioje žmonės jas naudoja“, – priduria Siu.
Svarstydamas, kodėl rezultatai buvo tokie prasti, Siu pripažįsta, kad net žmonės, dirbantys formaliais metodais, nėra pakankamai išmokyti patikrinti specifikacijas, kaip buvo reikalaujama eksperimente. Ir sunku apgalvoti visus galimus taisyklių rinkinio rezultatus. Nepaisant to, dalyviams rodomi taisyklių rinkiniai buvo trumpi, atitinkantys ne daugiau kaip teksto pastraipą, „daug trumpesni nei bet kas, su kuriuo susidurtumėte bet kurioje tikroje sistemoje“, sako Siu.
Komanda nesistengia savo rezultatų tiesiogiai susieti su žmonių našumu tikrinant robotą realiame pasaulyje. Vietoj to, jie siekia panaudoti rezultatus kaip atspirties tašką, kad apsvarstytų, ko formaliosios logikos bendruomenei gali trūkti, kai tvirtinama, kad yra aiškinama, ir kaip tokie teiginiai gali pasirodyti realiame pasaulyje.
Šis tyrimas buvo atliktas kaip dalis didesnio projekto Siu ir komandos draugai stengiasi pagerinti santykius tarp robotų ir žmonių operatorių, ypač tų, kurie dirba kariuomenėje. Robotikos programavimo procesas dažnai gali palikti operatorius nuo kilpos. Siekiant panašaus tikslo – gerinti aiškinamumą ir pasitikėjimą, projektas bando leisti operatoriams mokyti užduočių robotus tiesiogiai, panašiais būdais, kaip mokyti žmones. Toks procesas galėtų pagerinti tiek operatoriaus pasitikėjimą robotu, tiek roboto prisitaikymą.
Galiausiai jie tikisi, kad šio tyrimo rezultatai ir jų vykdomi tyrimai gali geriau pritaikyti autonomiją, nes ji tampa labiau įtraukta į žmogaus gyvenimą ir sprendimų priėmimą.
„Mūsų rezultatai skatina atlikti tam tikrų sistemų ir autonomijos bei dirbtinio intelekto sampratų vertinimą žmonėms, kol nepateikiama per daug teiginių apie jų naudingumą žmonėms“, – priduria Siu.
