Kai rizika didelė, mašininio mokymosi modeliai kartais naudojami siekiant padėti žmonėms, priimantiems sprendimus. Pavyzdžiui, modelis galėtų numatyti, kurie teisės mokyklos kandidatai greičiausiai išlaikys advokatūros egzaminą, kad padėtų priėmimo pareigūnui nustatyti, kurie studentai turėtų būti priimti.
Šie modeliai dažnai turi milijonus parametrų, Taigi mokslininkams, jau nekalbant apie priėmimo pareigūnams, neturintiems mašininio mokymosi patirties, beveik neįmanoma visiškai suprasti, kaip jie daro prognozes. Tyrėjai kartais taiko paaiškinimo metodus, kurie imituoja didesnį modelį, sukurdami paprastus jo prognozių apytikslius duomenis. Šie aproksimacijos, kurios yra daug lengviau suprantamos, padeda vartotojams nuspręsti, ar pasitikėti modelio prognozėmis.
Tačiau ar šie paaiškinimo metodai yra teisingi? Jei paaiškinimo metodas suteikia geresnių apytikslių rezultatų vyrams nei moterims arba baltiesiems žmonėms nei juodaodžiams, tai gali paskatinti naudotojus pasitikėti modelio prognozėmis kai kuriems žmonėms, bet ne kitiems.
MIT tyrėjai atidžiai pažvelgė į kai kurių plačiai naudojamų paaiškinimo metodų teisingumą. Jie nustatė, kad apytikslė šių paaiškinimų kokybė skirtinguose pogrupiuose gali labai skirtis ir kad į mažumą įtrauktų pogrupių kokybė dažnai yra žymiai prastesnė.
Praktiškai tai reiškia, kad jei apytikslė kokybė yra žemesnė Kandidačių moterų, paaiškinimai ir modelio prognozės nesutampa, todėl priėmimo pareigūnas gali klaidingai atmesti daugiau moterų nei vyrų.
MIT tyrėjai pamatė, kaip plačiai paplitusios šios sąžiningumo spragos. , jie išbandė keletą būdų, kad išlygintų žaidimo sąlygas. Jie sugebėjo sumažinti kai kurias spragas, bet negalėjo jų panaikinti.
„Realiai tai reiškia, kad kai kurių pogrupių prognozėmis žmonės gali klaidingai pasitikėti labiau nei kitiems. Taigi svarbu tobulinti paaiškinimo modelius, tačiau ne mažiau svarbu perduoti šių modelių detales galutiniams vartotojams. Šios spragos egzistuoja, todėl vartotojai gali norėti pakoreguoti savo lūkesčius dėl to, ką jie gauna naudodami šiuos paaiškinimus“, – sako pagrindinė autorė Aparna Balagopalan, MIT kompiuterių mokslo ir dirbtinio intelekto laboratorijos (CSAIL) sveikos ML grupės absolventė. ).
Balagopalanas parašė darbą su CSAIL absolventais Haoran Zhang ir Kimia Hamidieh; CSAIL postdoc Thomas Hartvigsen; Frankas Rudziczius, Toronto universiteto kompiuterių mokslų docentas; ir vyresnysis autorius Marzyeh Ghassemi, docentas ir sveikos ML grupės vadovas. Tyrimas bus pristatytas ACM sąžiningumo, atskaitomybės ir skaidrumo konferencijoje.
Aukštas tikslumas
) Supaprastinti paaiškinimo modeliai gali apytiksliai suderinti sudėtingesnio mašininio mokymosi modelio prognozes taip, kad ją suvoktų žmonės. Veiksmingas paaiškinimo modelis maksimaliai padidina savybę, vadinamą ištikimybe, kuri matuoja, kaip gerai ji atitinka didesnio modelio prognozes.
Užuot sutelkę dėmesį į vidutinį bendro paaiškinimo modelio tikslumą, MIT mokslininkai tyrė ištikimybę. žmonių pogrupiams modelio duomenų rinkinyje. Duomenų rinkinyje su vyrais ir moterimis kiekvienos grupės tikslumas turėtų būti labai panašus, o abiejų grupių ištikimybė turėtų būti artima bendro paaiškinimo modelio ištikimybei.
„Kai tik žiūrite Esant vidutiniam visų atvejų tikslumui, galite praleisti artefaktus, kurie galėjo egzistuoti paaiškinimo modelyje“, – sako Balagopalanas.
Jie sukūrė dvi metrikas, skirtas matuoti tikslumo spragas arba skirtumus ištikimybė tarp pogrupių. Vienas iš jų yra skirtumas tarp viso paaiškinimo modelio vidutinio tikslumo ir prasčiausio pogrupio ištikimybės. Antrasis apskaičiuoja absoliutų tikslumo skirtumą tarp visų galimų pogrupių porų ir tada apskaičiuoja vidurkį.
Naudodami šią metriką jie ieškojo tikslumo spragų, naudodami dviejų tipų paaiškinimo modelius, kurie buvo išmokyti. keturi realūs duomenų rinkiniai, skirti didelėms situacijoms, pvz., prognozuoti, ar pacientas mirs intensyviosios terapijos skyriuje, ar kaltinamasis dar kartą nusikals, ar teisės mokyklos kandidatas išlaikys advokatūros egzaminą. Kiekviename duomenų rinkinyje buvo saugomi atributai, pvz., atskirų žmonių lytis ir rasė. Apsaugoti atributai yra funkcijos, kurios negali būti naudojamos priimant sprendimus, dažnai dėl įstatymų ar organizacijos politikos. Jų apibrėžimas gali skirtis atsižvelgiant į užduotį, būdingą kiekvienam sprendimo nustatymui.
Tyrėjai nustatė aiškių visų duomenų rinkinių ir paaiškinimo modelių tikslumo spragų. Ištikimybė nepalankioje padėtyje esančioms grupėms dažnai buvo daug mažesnė, kai kuriais atvejais iki 21 procentų. Teisės mokyklos duomenų rinkinio tikslumo skirtumas tarp rasių pogrupių buvo 7 proc., o tai reiškia, kad kai kurių pogrupių aproksimacijos buvo klaidingos vidutiniškai 7 proc. Pavyzdžiui, jei duomenų rinkinyje yra 10,000 pareiškėjų iš šių pogrupių, didelė dalis gali būti neteisingai atmesta, aiškina Balagopalanas. „Buvau nustebintas, kaip plačiai paplitusios šios ištikimybės spragos visuose mūsų vertintuose duomenų rinkiniuose. Sunku per daug pabrėžti, kaip dažnai paaiškinimai naudojami kaip juodosios dėžės mašininio mokymosi modelių „pataisymas“. Šiame darbe parodome, kad patys paaiškinimo metodai yra netobuli aproksimacijos, kurios gali būti blogesnės kai kuriems pogrupiams“, – sako Ghassemi.
Spragų mažinimas
Nustačius tikslumo spragas, mokslininkai išbandė keletą mašininio mokymosi metodų, kad jas ištaisytų. Jie išmokė paaiškinimo modelius, kad nustatytų duomenų rinkinio regionus, kurie gali būti linkę į mažą tikslumą, ir tada daugiau dėmesio skirti tiems pavyzdžiams. Jie taip pat bandė naudoti subalansuotus duomenų rinkinius su vienodu visų pogrupių mėginių skaičiumi.
Šios tvirtos mokymo strategijos sumažino kai kuriuos tikslumo trūkumus, bet jų nepašalino.
) Tada mokslininkai modifikavo paaiškinimo modelius, kad išsiaiškintų, kodėl pirmiausia atsiranda ištikimybės spragų. Jų analizė atskleidė, kad paaiškinimo modelyje gali būti netiesiogiai naudojama saugomos grupės informacija, pvz., lytis ar rasė, kurios galėtų pasimokyti iš duomenų rinkinio, net jei grupės etiketės yra paslėptos.
Jie nori tai ištirti. daugiau galvosūkių būsimame darbe. Jie taip pat planuoja toliau tirti ištikimybės spragų pasekmes priimant sprendimus realiame pasaulyje.
Balagopalanas džiaugiasi matydamas, kad nepriklausomos laboratorijos lygiagretus darbas aiškinimo teisingumo srityje buvo pasiektas. panašios išvados, pabrėžiančios, kaip svarbu gerai suprasti šią problemą.
Žiūrėdama į kitą šio tyrimo etapą, ji turi keletą įspėjimo žodžių mašininio mokymosi vartotojams. „Atidžiai rinkitės paaiškinimo modelį. Bet dar svarbiau, gerai pagalvokite apie paaiškinimo modelio naudojimo tikslus ir kam jis galiausiai paveiks“, – sako ji.
„Manau, kad šis dokumentas yra labai vertingas papildymas diskursui apie sąžiningumas ML“, – sako Krzysztofas Gajosas, Gordonas McKay’us, Harvardo Johno A. Paulsono inžinerijos ir taikomųjų mokslų mokyklos kompiuterių mokslų profesorius, nedalyvavęs šiame darbe. „Ypač įdomus ir paveikęs man pasirodė pradinis įrodymas, kad paaiškinimų tikslumo skirtumai gali turėti išmatuojamą poveikį žmonių, kuriems padeda mašininio mokymosi modeliai, priimamų sprendimų kokybei. Nors apskaičiuotas sprendimų kokybės skirtumas gali atrodyti nedidelis ( apie 1 procentinį punktą), žinome, kad tokių, atrodytų, nedidelių skirtumų bendras poveikis gali pakeisti gyvenimą.“
Šį darbą iš dalies finansavo MIT-IBM Watson AI Lab. , Quanta tyrimų institutas, Kanados pažangiųjų tyrimų instituto AI katedra ir „Microsoft Research“.
21
