Darbuotojams, kurie naudoja mašininio mokymosi modelius, kad padėtų jiems priimti sprendimus, žinoti, kada pasitikėti modelio prognozėmis, ne visada yra lengva užduotis, ypač dėl to, kad šie modeliai dažnai yra tokie sudėtingi, kad jų vidinis veikimas lieka paslaptis.
Vartotojai kartais taiko metodą, vadinamą selektyviąja regresija, pagal kurią modelis įvertina kiekvienos prognozės patikimumo lygį ir atmes prognozes, kai jos patikimumas yra per mažas. . Tada žmogus gali ištirti tuos atvejus, surinkti papildomos informacijos ir priimti sprendimą dėl kiekvieno iš jų rankiniu būdu.
Tačiau nors buvo įrodyta, kad selektyvinė regresija pagerina bendrą modelio veikimą, mokslininkai MIT ir MIT-IBM Watson AI Lab atrado, kad ši technika gali turėti priešingą poveikį nepakankamai atstovaujamoms žmonių grupėms duomenų rinkinyje. Kadangi modelio pasitikėjimas didėja dėl selektyvios regresijos, jo galimybė atlikti teisingą prognozę taip pat didėja, tačiau tai ne visada nutinka visuose pogrupiuose.
Pavyzdžiui, modelis, siūlantis paskolos patvirtinimą, gali būti vidutiniškai mažiau klaidų, tačiau juodaodžiams ar moterims kandidatėms iš tikrųjų gali būti daugiau klaidingų prognozių. Viena iš priežasčių, kodėl taip gali nutikti, yra ta, kad modelio pasitikėjimo matas yra apmokytas naudojant per daug atstovaujamas grupes ir gali būti netikslus šioms nepakankamai atstovaujamoms grupėms.
Nustačius šią problemą, MIT mokslininkai sukūrė du algoritmus, kurie gali išspręsti problemą. Naudojant realaus pasaulio duomenų rinkinius, jie rodo, kad algoritmai sumažina našumo skirtumus, kurie turėjo įtakos marginalizuotiems pogrupiams.
„Galų gale, tai yra protingesnis supratimas, kuriuos pavyzdžius perduodate žmogui. susidoroti su. Užuot tik sumažinę platų modelio klaidų lygį, norime užtikrinti, kad klaidų lygis visose grupėse būtų atsižvelgta protingai“, – sako vyresnysis MIT autorius Greg Wornell, Sumitomo Elektros inžinerijos katedros inžinerijos profesorius. ir kompiuterių mokslo (EECS), kuris vadovauja Signalų, informacijos ir algoritmų laboratorijai Elektronikos tyrimų laboratorijoje (RLE) ir yra MIT-IBM Watson AI laboratorijos narys.
Prisijungimas Straipsnyje Wornell yra vienas iš pagrindinių autorių Abhin Shah, EECS magistrantūros studentas, ir Yuheng Bu, RLE postdoc. taip pat Joshua Ka-Wing Lee SM ’17, ScD’21 ir Subhro Das, Rameswar Panda ir Prasanna Sattigeri, mokslo darbuotojai MIT-IBM Watson AI laboratorija. Straipsnis bus pristatytas šį mėnesį Tarptautinėje mašininio mokymosi konferencijoje.
Nuspėti ar neprognozuoti Regresija yra metodas, kuriuo įvertinamas ryšys tarp priklausomo kintamojo ir nepriklausomų kintamųjų. Taikant mašininį mokymąsi, regresinė analizė dažniausiai naudojama numatymo užduotims, pvz., numatant namo kainą, atsižvelgiant į jo ypatybes (miegamųjų skaičių, kvadratinių metrų plotą ir kt.). Taikant atrankinę regresiją mašininio mokymosi modelis gali pasirinkti vieną iš dviejų pasirinkimų. dėl kiekvienos įvesties – jis gali numatyti arba susilaikyti nuo prognozės, jei nepakankamai pasitiki savo sprendimu.
Kai modelis susilaiko, jis sumažina imčių dalį daryti prognozes, o tai žinoma kaip aprėptis. Numatant tik tuos duomenis, kuriais labai pasitiki, bendras modelio veikimas turėtų pagerėti. Tačiau tai taip pat gali sustiprinti duomenų rinkinio paklaidas, kurios atsiranda, kai modelyje nėra pakankamai duomenų iš tam tikrų pogrupių. Tai gali lemti klaidas arba blogas prognozes nepakankamai atstovaujamiems asmenims.
MIT mokslininkai siekė užtikrinti, kad bendram modelio klaidų lygiui gerėjant selektyviajai regresijai, kiekvieno pogrupio našumas taip pat pagerina. Jie tai vadina monotoniška selektyviąja rizika.
„Buvo sudėtinga sugalvoti tinkamą sąžiningumo sąvoką šiai konkrečiai problemai spręsti. Tačiau taikydami šį kriterijų, monotoninę atrankinę riziką, galime užtikrinti, kad modelio našumas iš tikrųjų gerės visuose pogrupiuose, kai sumažinsite aprėptį“, – sako Shah.
Dėmesys teisingumui
Komanda sukūrė du neuroninių tinklų algoritmus, kurie nustato šiuos sąžiningumo kriterijus, kad išspręstų problemą.
Vienas algoritmas garantuoja, kad funkcijos, kurias modelis naudoja prognozėms, apima visą informaciją apie jautrius duomenų rinkinio atributus, pvz., rasę ir lytį, kuri yra susijusi su dominančiu tiksliniu kintamuoju. Jautrūs atributai yra funkcijos, kurios negali būti naudojamos priimant sprendimus, dažnai dėl įstatymų ar organizacijos politikos. Antrasis algoritmas naudoja kalibravimo metodą, kad užtikrintų, jog modelis numatytų tą patį įvestį, neatsižvelgiant į tai, ar prie to įvesties pridedami jautrūs atributai.
Tyrėjai išbandė šiuos algoritmus juos taikydami. į realaus pasaulio duomenų rinkinius, kurie galėtų būti naudojami priimant didelius sprendimus. Vienas, draudimo duomenų rinkinys, naudojamas prognozuoti bendras metines pacientų medicinines išlaidas, naudojant demografinę statistiką; kitas, nusikalstamumo duomenų rinkinys, naudojamas nuspėti smurtinių nusikaltimų skaičių bendruomenėse, naudojant socialinę ir ekonominę informaciją. Abiejuose duomenų rinkiniuose yra jautrių asmenų atributų.
Kai jie įdiegė savo algoritmus kartu su standartiniu mašininio mokymosi metodu selektyviajai regresijai, jie sugebėjo sumažinti skirtumus, pasiekdami mažesnį klaidų lygį mažumos pogrupius kiekviename duomenų rinkinyje. Be to, tai buvo padaryta nedarant didelės įtakos bendram klaidų lygiui.
„Matome, kad jei nenustatysime tam tikrų suvaržymų, tais atvejais, kai modelis yra tikrai patikimas, jis iš tikrųjų gali būti padaryti daugiau klaidų, kurios kai kuriose programose, pvz., sveikatos priežiūros srityje, gali kainuoti labai brangiai. Taigi, jei pakeisime tendenciją ir padarysime ją intuityvesnę, pastebėsime daug šių klaidų. Pagrindinis šio darbo tikslas – išvengti tyliai nepastebimų klaidų“, – sako Sattigeri.
Tyrėjai planuoja pritaikyti savo sprendimus kitoms programoms, pavyzdžiui, prognozuoti būsto kainas, studentų GPA arba paskolos palūkanų normą, kad pamatytumėte, ar toms užduotims reikia kalibruoti algoritmus, sako Shahas. Jie taip pat nori ištirti būdus, kurie naudoja mažiau jautrią informaciją modelio mokymo procese, kad būtų išvengta privatumo problemų.
Ir jie tikisi pagerinti pasitikėjimo įverčius selektyvioje regresijoje, kad būtų išvengta situacijų, kai modelio pasitikėjimas yra žemas, bet jo prognozė teisinga. Tai galėtų sumažinti žmonių darbo krūvį ir dar labiau supaprastinti sprendimų priėmimo procesą, sako Sattigeri.
Šį tyrimą iš dalies finansavo MIT-IBM Watson AI Lab ir jos įmonės narės. Boston Scientific, Samsung ir Wells Fargo bei Nacionalinis mokslo fondas.
21
