Aiškinimo metodai, padedantys naudotojams suprasti mašininio mokymosi modelius ir jais pasitikėti, dažnai apibūdina, kiek tam tikros modelyje naudojamos funkcijos prisideda prie jo numatymo. Pavyzdžiui, jei modelis numato paciento riziką susirgti širdies liga, gydytojas gali norėti sužinoti, kaip stipriai paciento širdies susitraukimų dažnio duomenys turi įtakos šiai prognozei.
Bet jei šios savybės yra tokios sudėtingos. Ar vartotojas jų nesupranta, ar paaiškinimo metodas yra naudingas?
MIT tyrėjai siekia pagerinti funkcijų aiškinamumą, kad sprendimus priimantiems asmenims būtų patogiau naudotis rezultatais mašininio mokymosi modelių. Remdamiesi ilgus metus trukusiu lauko darbu, jie sukūrė taksonomiją, kuri padėtų kūrėjams sukurti funkcijas, kurias tikslinei auditorijai bus lengviau suprasti.
„Mes tai sužinojome realiame pasaulyje, nors naudojome pažangiausius mašininio mokymosi modelių paaiškinimo būdus, vis dar daug painiavos kyla dėl savybių, o ne dėl paties modelio“, – sako elektrotechnikos ir informatikos doktorantė Alexandra Zytek. pagrindinis taksonomiją pristatančio straipsnio autorius.
Siekdami sukurti taksonomiją, mokslininkai apibrėžė ypatybes, kurios leidžia ypatybes interpretuoti penkių tipų naudotojams, pradedant dirbtinio intelekto ekspertais ir baigiant mašinos paveiktais žmonėmis. – mokymosi modelio numatymas. Jie taip pat pateikia instrukcijas, kaip modelių kūrėjai gali paversti ypatybes į formatus, kuriuos būtų lengviau suprasti pasauliečiui.
Jie tikisi, kad jų darbas paskatins modelių kūrėjus nuo pat pradžių apsvarstyti galimybę naudoti interpretuojamas funkcijas. kūrimo procesą, o ne stengtis dirbti atgal ir sutelkti dėmesį į paaiškinamumą po fakto.
Tarp MIT bendraautorių yra Dongyu Liu, postdoc; kviestinis profesorius Laure Berti-Équille, IRD tyrimų direktorius; ir vyresnysis autorius Kalyanas Veeramachaneni, pagrindinis Informacijos ir sprendimų sistemų laboratorijos (LIDS) mokslininkas ir grupės „Data to AI“ vadovas. Prie jų prisijungia Ignacio Arnaldo, pagrindinis Corelight duomenų mokslininkas. Tyrimas paskelbtas Skaičiavimo mašinų asociacijos specialiųjų interesų grupės žinių atradimo ir duomenų gavybos ekspertų recenzuojamo Explorations informaciniame biuletenyje
Realaus pasaulio pamokos
Funkcijos yra įvesties kintamieji, kurie pateikiami mašininiam mokymuisi modeliai; jie paprastai traukiami iš duomenų rinkinio stulpelių. Duomenų mokslininkai paprastai parenka ir kuria modelio ypatybes ir daugiausia dėmesio skiria tam, kad funkcijos būtų sukurtos siekiant pagerinti modelio tikslumą, o ne į tai, ar sprendimus priimantis asmuo gali jas suprasti, aiškina Veeramachaneni.
Kelerius metus jis ir jo komanda dirbo su sprendimus priimančiais asmenimis, siekdami nustatyti mašininio mokymosi tinkamumo naudoti iššūkius. Šie domenų ekspertai, kurių daugumai trūksta mašininio mokymosi žinių, dažnai nepasitiki modeliais, nes nesupranta ypatybių, turinčių įtakos prognozėms.
Viename projekte jie bendradarbiavo su gydytojais ligoninės ICU, kuris naudojo mašininį mokymąsi, kad prognozuotų riziką, kurią pacientas susidurs su komplikacijomis po širdies operacijos. Kai kurios funkcijos buvo pateiktos kaip suvestinės vertės, pvz., paciento širdies susitraukimų dažnio tendencija laikui bėgant. Nors tokiu būdu užkoduotos funkcijos buvo „paruoštos modeliui“ (modelis galėjo apdoroti duomenis), gydytojai nesuprato, kaip jos buvo apskaičiuotos. Jie labiau norėtų matyti, kaip šios apibendrintos savybės yra susijusios su pradinėmis vertėmis, kad galėtų nustatyti paciento širdies susitraukimų dažnio anomalijas, sako Liu.
Priešingai, grupė besimokančių mokslininkų pirmenybę teikė funkcijoms, kurios buvo sumuoti. Užuot turėję tokią funkciją kaip „mokinio įrašų skaičius diskusijų forumuose“, verčiau turėtų susijusias funkcijas, sugrupuotas ir pažymėtas jiems suprantamais terminais, pvz., „dalyvavimas“.
„Su aiškinamumas, vienas dydis netinka visiems. Kai eini iš vienos srities į kitą, atsiranda skirtingų poreikių. Ir pats aiškinamumas turi daug lygių“, – sako Veeramachaneni.
Mokslininkų taksonomijoje labai svarbi mintis, kad vienas dydis netinka visiems. Jie apibrėžia ypatybes, kurios gali padaryti ypatybes daugiau ar mažiau suprantamas skirtingiems sprendimus priimantiems asmenims, ir apibūdina, kurios savybės yra svarbiausios konkretiems vartotojams.
Pavyzdžiui, mašininio mokymosi kūrėjai gali sutelkti dėmesį į funkcijų turėjimą. kurie yra suderinami su modeliu ir nuspėjami, o tai reiškia, kad jie pagerins modelio veikimą.
Kita vertus, sprendimus priimantiems asmenims, neturintiems mašininio mokymosi patirties, gali būti geriau pritaikytos funkcijos, kurios yra suformuluoti žmogaus, o tai reiškia, kad jie aprašyti taip, kaip naudotojams yra natūralūs ir suprantami, o tai reiškia, kad jie nurodo realaus pasaulio metriką, apie kurią vartotojai gali samprotauti.
„Taksonomijoje teigiama, jei kuriate interpretuojamus bruožus, iki kokio lygio jie yra interpretuojami? Jums gali prireikti ne visų lygių, atsižvelgiant į domeno ekspertų tipą, su kuriuo dirbate“, – sako Zytek.
Aiškinamumas pirmiausia
Tyrėjai taip pat apibūdina funkcijų inžinerijos metodus, kuriuos kūrėjas gali naudoti, kad funkcijos būtų aiškiau suprantamos konkrečiai auditorijai.
Funkcija inžinerija yra procesas, kurio metu duomenų mokslininkai paverčia duomenis į formatą, kurį gali apdoroti mašininio mokymosi modeliai, naudodami tokius metodus kaip duomenų kaupimas arba verčių normalizavimas. Dauguma modelių taip pat negali apdoroti kategorinių duomenų, nebent jie konvertuojami į skaitmeninį kodą. Šių transformacijų neprofesionalams dažnai beveik neįmanoma išpakuoti.
Kuriant interpretuojamas funkcijas, gali reikėti panaikinti tam tikrą kodavimą, sako Zytek. Pavyzdžiui, bendrų bruožų inžinerijos technika sutvarko duomenų intervalus, kad juose būtų vienodas metų skaičius. Kad šios savybės būtų aiškiau suprantamos, galima būtų sugrupuoti amžiaus grupes naudojant žmonių terminus, pvz., kūdikis, kūdikis, vaikas ir paauglys. Arba užuot naudoję transformuotą funkciją, pvz., vidutinį pulso dažnį, interpretuojama funkcija gali būti tiesiog faktiniai pulso dažnio duomenys, priduria Liu.
„Daugelyje domenų interpretuojamų funkcijų kompromisas o modelio tikslumas iš tikrųjų yra labai mažas. Pavyzdžiui, kai dirbome su vaikų gerovės tikrintojais, modelį perkvalifikavome naudodami tik tas funkcijas, kurios atitiko mūsų aiškinamumo apibrėžimus, o našumo sumažėjimas buvo beveik nereikšmingas“, – sako Zytek.
Building Atlikdami šį darbą, mokslininkai kuria sistemą, leidžiančią modelio kūrėjui efektyviau valdyti sudėtingas funkcijų transformacijas, sukurti į žmogų orientuotus mašininio mokymosi modelių paaiškinimus. Ši nauja sistema taip pat konvertuos algoritmus, skirtus modeliui paruoštiems duomenų rinkiniams paaiškinti, į formatus, kuriuos gali suprasti sprendimų priėmėjai.
