Darbuotojams, kurie naudojasi mašininio mokymosi modeliais, padedančiais priimti sprendimus, ne visada lengva užduotis žinoti, kada pasitikėti modelio prognozėmis, ypač todėl, kad šie modeliai dažnai yra tokie sudėtingi, kad jų vidinis veikimas lieka paslaptis
Vartotojai kartais taiko metodą, vadinamą atrankine regresija, kai modelis įvertina kiekvienos prognozės patikimumo lygį ir atmeta prognozes, kai jo patikimumas yra per mažas. Tada žmogus gali išnagrinėti tuos atvejus, surinkti papildomos informacijos ir priimti sprendimą dėl kiekvieno iš jų rankiniu būdu.
Tačiau nors įrodyta, kad selektyvioji regresija pagerina bendrą modelio našumą, MIT ir MIT-IBM Watson AI laboratorijos tyrėjai nustatė, kad šis metodas gali turėti priešingą poveikį nepakankamai atstovaujamoms žmonių grupėms duomenų rinkinyje. Kadangi taikant atrankinę regresiją didėja modelio patikimumas, didėja ir tikimybė, kad jis teisingai prognozuos, tačiau taip atsitinka ne visada visų pogrupių atveju
Pavyzdžiui, modelis, pagal kurį siūloma patvirtinti paskolas, vidutiniškai gali padaryti mažiau klaidų, tačiau iš tikrųjų jis gali pateikti daugiau klaidingų prognozių juodaodžiams arba moterims. Viena iš priežasčių, kodėl taip gali atsitikti, yra ta, kad modelio patikimumo matas yra apmokytas naudojant per daug atstovaujamas grupes ir gali būti netikslus šioms nepakankamai atstovaujamoms grupėms
Nustatę šią problemą, MIT tyrėjai sukūrė du algoritmus, kurie gali ją ištaisyti. Naudodami realaus pasaulio duomenų rinkinius, jie įrodė, kad algoritmai sumažina našumo skirtumus, kurie turėjo įtakos marginalizuotoms pogrupėms.
„Galiausiai, tai reiškia, kad reikia protingiau pasirinkti, kurias imtis perduoti nagrinėti žmogui. Užuot tiesiog minimizavę tam tikrą bendrą modelio klaidų lygį, mes norime užtikrinti, kad į skirtingų grupių klaidų lygį būtų protingai atsižvelgta”, – sako vyresnysis MIT autorius Gregas Wornellis, Elektros inžinerijos ir informatikos katedros (EECS) Sumitomo inžinerijos profesorius, vadovaujantis Elektronikos tyrimų laboratorijos (RLE) Signalų, informacijos ir algoritmų laboratorijai ir priklausantis MIT-IBM Watson AI laboratorijai.
Kartu su Wornell’iu prie šio straipsnio prisidėjo kiti pagrindiniai autoriai: EEBS magistrantas Abhin Shah ir RLE doktorantas Yuheng Bu, taip pat MIT-IBM Watson AI laboratorijos mokslo darbuotojai Joshua Ka-Wing Lee SM „17, ScD „21 ir Subhro Das, Rameswar Panda bei Prasanna Sattigeri. Straipsnis šį mėnesį bus pristatytas Tarptautinėje mašininio mokymosi konferencijoje.
Prognozuoti ar neprognozuoti
Regresija – tai metodas, kuriuo įvertinamas priklausomo kintamojo ir nepriklausomų kintamųjų ryšys. Mašinų mokymosi srityje regresinė analizė paprastai naudojama prognozavimo uždaviniams spręsti, pavyzdžiui, prognozuoti namo kainą, atsižvelgiant į jo savybes (miegamųjų kambarių skaičių, kvadratinį plotą ir pan.) Taikant atrankinę regresiją, mašinų mokymosi modelis kiekvienam įėjimui gali priimti vieną iš dviejų sprendimų – jis gali prognozuoti arba susilaikyti nuo prognozavimo, jei nepakankamai pasitiki savo sprendimu
Kai modelis susilaiko nuo prognozavimo, jis sumažina imčių, pagal kurias prognozuoja, dalį, kuri vadinama aprėptimi. Prognozuojant tik tuos įvesties duomenis, kuriais jis labai pasitiki, bendras modelio veikimas turėtų pagerėti. Tačiau tai taip pat gali sustiprinti duomenų rinkinyje egzistuojančius šališkumus, kurie atsiranda, kai modelis neturi pakankamai duomenų iš tam tikrų pogrupių. Dėl to gali atsirasti klaidų arba blogų prognozių nepakankamai atstovaujamiems asmenims
MIT tyrėjai siekė užtikrinti, kad, gerėjant bendram modelio klaidų lygiui taikant atrankinę regresiją, gerėtų ir kiekvieno pogrupio rodikliai. Jie tai vadina monotoniška atrankine rizika.
„Buvo sudėtinga sugalvoti tinkamą sąžiningumo sąvoką šiai konkrečiai problemai spręsti. Tačiau nustatydami šį kriterijų – monotoninę atrankinę riziką – galime užtikrinti, kad mažinant aprėptį modelio našumas iš tikrųjų gerėja visuose pogrupiuose”, – sako Šahas (Shah).
Dėmesys teisingumui
Komanda sukūrė du neuroninių tinklų algoritmus, kurie nustato šį teisingumo kriterijų problemai spręsti.
Vienas algoritmas garantuoja, kad požymiai, kuriuos modelis naudoja prognozėms atlikti, apima visą informaciją apie jautrius duomenų rinkinio požymius, pavyzdžiui, rasę ir lytį, kurie yra svarbūs dominančiam tiksliniam kintamajam. Jautrūs požymiai – tai požymiai, kurie negali būti naudojami priimant sprendimus, dažnai dėl įstatymų ar organizacijos politikos. Antrasis algoritmas naudoja kalibravimo metodą, kad užtikrintų, jog modelis pateiktų tą pačią prognozę įvesties atveju, nepriklausomai nuo to, ar prie tos įvesties pridėta kokių nors jautrių požymių.
Tyrėjai išbandė šiuos algoritmus taikydami juos realaus pasaulio duomenų rinkiniams, kurie gali būti naudojami priimant sprendimus, susijusius su didelėmis rizikomis. Vienas iš jų, draudimo duomenų rinkinys, naudojamas siekiant numatyti bendras metines medicinines išlaidas, kurias tenka apmokėti pacientams, naudojant demografinius statistinius duomenis; kitas, nusikalstamumo duomenų rinkinys, naudojamas siekiant numatyti smurtinių nusikaltimų skaičių bendruomenėse, naudojant socialinę ir ekonominę informaciją. Abiejuose duomenų rinkiniuose yra jautrių asmenų požymių.
Įdiegę savo algoritmus ant standartinio mašininio mokymosi metodo, skirto atrankinei regresijai, jie sugebėjo sumažinti skirtumus, pasiekdami mažesnį klaidų lygį mažumų pogrupiams kiekviename duomenų rinkinyje. Be to, tai pavyko pasiekti nepadarant didelės įtakos bendram klaidų lygiui.
„Matome, kad jei nenustatysime tam tikrų apribojimų, tais atvejais, kai modelis yra tikrai užtikrintas, jis iš tikrųjų gali padaryti daugiau klaidų, o tai gali labai brangiai kainuoti kai kuriose srityse, pavyzdžiui, sveikatos priežiūros srityje. Taigi, jei pakeisime šią tendenciją ir padarysime jį intuityvesnį, pagausime daug šių klaidų. Pagrindinis šio darbo tikslas – išvengti tyliai nepastebėtų klaidų”, – sako Sattigeri.
Tyrėjai planuoja pritaikyti savo sprendimus kitoms taikomosioms programoms, pavyzdžiui, namų kainoms, studentų vidurkiui ar paskolų palūkanų normai prognozuoti, kad išsiaiškintų, ar algoritmus reikia kalibruoti šioms užduotims, sako Shahas. Jie taip pat nori ištirti metodus, kurie modelio mokymo proceso metu naudotų mažiau jautrią informaciją, kad būtų išvengta privatumo problemų
Ir jie tikisi patobulinti selektyvios regresijos patikimumo įverčius, kad būtų išvengta situacijų, kai modelio patikimumas yra mažas, bet jo prognozė teisinga. Tai galėtų sumažinti žmonėms tenkantį darbo krūvį ir dar labiau supaprastinti sprendimų priėmimo procesą, sako Sattigeris (Sattigeri).
Šiuos tyrimus iš dalies finansavo MIT-IBM Watson AI Lab ir jos narės bendrovės „Boston Scientific”, „Samsung” ir „Wells Fargo” bei Nacionalinis mokslo fondas.
