Maždaug prieš dešimtmetį gilaus mokymosi modeliai pradėjo siekti antžmogiškų rezultatų atliekant įvairias užduotis – nuo pasaulio stalo žaidimų čempionų nugalėjimo iki gydytojų pranašumo diagnozuojant krūties vėžį
Šie galingi gilaus mokymosi modeliai paprastai grindžiami dirbtiniais neuronų tinklais, kurie pirmą kartą buvo pasiūlyti 1940 ir tapo populiaria mašininio mokymosi rūšimi. Kompiuteris mokosi apdoroti duomenis naudodamas tarpusavyje sujungtų mazgų, arba neuronų, sluoksnius, kurie imituoja žmogaus smegenis.
Augant mašininio mokymosi sričiai, kartu su ja augo ir dirbtinių neuronų tinklai
Giluminio mokymosi modelius dabar dažnai sudaro milijonai ar milijardai tarpusavyje sujungtų mazgų daugelyje sluoksnių, kurie yra apmokyti atlikti aptikimo ar klasifikavimo užduotis naudojant didžiulius duomenų kiekius. Tačiau kadangi šie modeliai yra tokie nepaprastai sudėtingi, net juos kuriantys mokslininkai iki galo nesupranta, kaip jie veikia. Todėl sunku nustatyti, ar jie veikia teisingai.
Pavyzdžiui, galbūt modelis, skirtas padėti gydytojams diagnozuoti pacientus, teisingai nuspėjo, kad odos pažeidimas yra vėžinis, bet tai padarė sutelkęs dėmesį į nesusijusią žymę, kuri dažnai pasitaiko, kai nuotraukoje yra vėžinis audinys, o ne į patį vėžinį audinį. Tai vadinama netikra koreliacija. Modelis teisingai prognozuoja, bet tai daro dėl neteisingos priežasties. Realioje klinikinėje aplinkoje, kai ši žymė nepasirodo vėžio nuotraukose, dėl to gali būti neteisingai nustatyta diagnozė.
Kai aplink šiuos vadinamuosius „juodosios dėžės” modelius sukasi tiek daug neaiškumų, kaip galima išsiaiškinti, kas vyksta dėžės viduje?
Dėl šios mįslės atsirado nauja ir sparčiai populiarėjanti tyrimų sritis, kurioje mokslininkai kuria ir bando paaiškinimo metodus (dar vadinamus aiškinimo metodais), kuriais siekiama atskleisti, kaip „juodosios dėžės” mašininio mokymosi modeliai daro prognozes.
Kas yra paaiškinimo metodai?
Pačiu paprasčiausiu lygmeniu paaiškinimo metodai yra globalūs arba lokalūs. Vietiniu paaiškinimo metodu daugiausia dėmesio skiriama paaiškinti, kaip modelis padarė vieną konkrečią prognozę, o visuotiniais paaiškinimo metodais siekiama apibūdinti bendrą viso modelio elgseną. Dažnai tai daroma kuriant atskirą, paprastesnį (ir, tikėkimės, suprantamą) modelį, kuris imituoja didesnį, juodosios dėžės modelį
Tačiau kadangi gilaus mokymosi modeliai veikia iš esmės sudėtingai ir netiesiškai, sukurti veiksmingą globalaus paaiškinimo modelį yra ypač sudėtinga. Tai paskatino mokslininkus pastaruoju metu vietoj to daug dėmesio skirti vietiniams paaiškinimo metodams, aiškina Kompiuterių mokslo ir dirbtinio intelekto laboratorijos (CSAIL) Interaktyvios robotikos grupės magistrantas Yilun Zhou, tyrinėjantis aiškinamojo mašininio mokymosi modelius, algoritmus ir vertinimus
Populiariausi vietinių paaiškinimo metodų tipai skirstomi į tris plačias kategorijas:
Pirmasis ir plačiausiai naudojamas paaiškinimo metodo tipas žinomas kaip požymių priskyrimas. Požymių priskyrimo metodai parodo, kurie požymiai buvo svarbiausi modeliui priimant konkretų sprendimą
Požymiai – tai įvesties kintamieji, kurie pateikiami mašininio mokymosi modeliui ir naudojami jam prognozuojant. Kai duomenys yra lenteliniai, požymiai imami iš duomenų rinkinio stulpelių (jie transformuojami naudojant įvairius metodus, kad modelis galėtų apdoroti neapdorotus duomenis). Kita vertus, atliekant vaizdų apdorojimo užduotis, kiekvienas vaizdo pikselis yra požymis. Pavyzdžiui, jei modelis prognozuoja, kad rentgeno nuotraukoje matomas vėžys, požymių priskyrimo metodas išryškintų tos konkrečios rentgeno nuotraukos pikselius, kurie buvo svarbiausi modelio prognozei.”
Iš esmės požymių priskyrimo metodai parodo, į ką modelis, atlikdamas prognozę, kreipia didžiausią dėmesį.”
„Naudodamiesi šiuo požymių priskyrimo paaiškinimu, galite patikrinti, ar nekyla problemų dėl netikros koreliacijos. Pavyzdžiui, jis parodys, ar išryškinti vandens ženklo pikseliai, ar išryškinti tikrojo naviko pikseliai”, – sako Zhou.”
Antrojo tipo paaiškinimo metodas vadinamas kontrafaktiniu paaiškinimu. Turint įvesties duomenis ir modelio prognozę, šie metodai parodo, kaip pakeisti tuos duomenis, kad jie patektų į kitą klasę. Pavyzdžiui, jei mašininio mokymosi modelis prognozuoja, kad paskolos gavėjui bus atsisakyta suteikti paskolą, kontrafaktinis paaiškinimas parodo, kokius veiksnius reikia pakeisti, kad jo paskolos paraiška būtų priimta. Galbūt jos kredito balas arba pajamos – abu modelio prognozėje naudojami požymiai – turi būti didesni, kad ji būtų patvirtinta.
„Šis paaiškinimo metodas geras tuo, kad jame tiksliai nurodoma, kaip reikia pakeisti įvesties duomenis, kad sprendimas būtų pakeistas, o tai gali būti praktiškai naudinga. Žmogui, kuris kreipiasi dėl hipotekos paskolos ir jos negavo, šis paaiškinimas pasakytų, ką jis turi daryti, kad pasiektų norimą rezultatą.”
Trečioji paaiškinimo metodų kategorija yra vadinamieji imties svarbos paaiškinimai. Skirtingai nuo kitų, šiam metodui reikia prieigos prie duomenų, kurie buvo naudojami modeliui apmokyti
Imties svarbos paaiškinimas parodys, kuria mokymo imtimi modelis labiausiai rėmėsi atlikdamas konkrečią prognozę; idealiu atveju tai būtų panašiausia imtis į įvesties duomenis. Tokio tipo paaiškinimas ypač naudingas, jei pastebima iš pažiūros neracionali prognozė. Gali būti, kad buvo padaryta duomenų įvedimo klaida, kuri paveikė konkrečią imtį, naudotą modeliui apmokyti. Turint tokių žinių, galima ištaisyti tą imtį ir iš naujo apmokyti modelį, kad padidėtų jo tikslumas.
Kaip naudojami paaiškinimo metodai?
Vienas iš šių paaiškinimų rengimo motyvų yra kokybės užtikrinimas ir modelio derinimas. Pavyzdžiui, geriau supratus, kaip savybės veikia modelio sprendimą, galima nustatyti, kad modelis veikia neteisingai, ir įsikišti, kad problema būtų išspręsta, arba išmesti modelį ir pradėti viską iš naujo.
Kita, naujesnė, mokslinių tyrimų sritis – mašininio mokymosi modelių panaudojimas moksliniams dėsningumams, kurių žmonės anksčiau neatskleidė, atrasti. Pavyzdžiui, vėžio diagnozavimo modelis, kuris pranoksta gydytojus, gali būti klaidingas arba iš tikrųjų jis gali pastebėti paslėptus rentgeno nuotraukos modelius, atspindinčius ankstyvąjį vėžio patologinį kelią, kurie gydytojams buvo nežinomi arba laikomi nereikšmingais, sako Zhou
Tačiau ši tyrimų sritis dar labai ankstyva.
Įspėjantys žodžiai
Nors paaiškinimo metodai kartais gali būti naudingi mašininio mokymosi specialistams, kai jie bando aptikti klaidų savo modeliuose arba suprasti vidinę sistemos veiklą, galutiniai vartotojai turėtų elgtis atsargiai, bandydami juos naudoti praktikoje, sako CSAIL docentas ir Sveikos ML grupės vadovas Marzyeh Ghassemi.
Kadangi mašininis mokymasis taikomas vis daugiau sričių, nuo sveikatos priežiūros iki švietimo, paaiškinimo metodai naudojami siekiant padėti sprendimų priėmėjams geriau suprasti modelio prognozes, kad jie žinotų, kada pasitikėti modeliu ir praktiškai naudotis jo gairėmis. Tačiau Ghassemi perspėja, kad taip šių metodų naudoti nereikėtų.
„Nustatėme, kad dėl paaiškinimų žmonės, tiek ekspertai, tiek neekspertai, pernelyg pasitiki konkrečios rekomendacinės sistemos gebėjimais ar patarimais. Manau, kad žmonėms labai svarbu neišjungti vidinės grandinės, kuri klausia: „leiskite man suabejoti man
duodamais patarimais”, – sako ji.
Mokslininkai, remdamiesi kitais naujausiais darbais, žino, kad paaiškinimai verčia žmones pernelyg pasitikėti savimi, priduria ji, cituodama kai kuriuos naujausius Microsoft tyrėjų tyrimus.
Paaiškinimo metodai toli gražu nėra sidabrinė kulka, jie turi ir problemų. Pavyzdžiui, naujausi Ghassemi tyrimai parodė, kad paaiškinimo metodai gali įtvirtinti šališkumą ir lemti blogesnius rezultatus žmonėms iš nepalankioje padėtyje esančių grupių
Kita paaiškinimo metodų bėda yra ta, kad dažnai neįmanoma nustatyti, ar paaiškinimo metodas yra teisingas. Reikėtų palyginti paaiškinimus su tikruoju modeliu, bet kadangi vartotojas nežino, kaip veikia modelis, tai yra apskrita logika, sako Zhou.
Jis ir kiti tyrėjai dirba tobulindami paaiškinimo metodus, kad jie būtų ištikimesni tikrojo modelio prognozėms, tačiau Zhou įspėja, kad net ir geriausią paaiškinimą reikėtų vertinti atsargiai.
„Be to, žmonės paprastai suvokia šiuos modelius kaip sprendimus priimančius žmones, o mes esame linkę į pernelyg didelius apibendrinimus. Turime žmones nuraminti ir sulaikyti, kad tikrai įsitikintume, jog apibendrintas modelio supratimas, kurį jie susikuria iš šių vietinių paaiškinimų, yra subalansuotas”, – priduria jis.”
Naujausiais Zhou tyrimais būtent to ir siekiama.”
Kas toliau laukia mašininio mokymosi paaiškinimo metodų?
Ghassemi teigia, kad užuot sutelkęs dėmesį į paaiškinimų pateikimą, mokslininkų bendruomenė turi dėti daugiau pastangų, kad ištirtų, kaip informacija pateikiama sprendimų priėmėjams, kad jie ją suprastų, taip pat reikia daugiau reglamentavimo, kad būtų užtikrinta, jog mašininio mokymosi modeliai praktikoje būtų naudojami atsakingai.
. „Džiaugiuosi matydamas, kad net pramonėje daug labiau pripažįstama, jog negalime tiesiog paimti šios informacijos, sukurti gražų prietaisų skydelį ir manyti, kad žmonės, naudodamiesi juo, dirbs geriau. Reikia išmatuojamų patobulinimų veikloje, ir aš tikiuosi, kad tai paskatins parengti tikras gaires, kaip pagerinti informacijos pateikimo būdą šiose labai techniškose srityse, pavyzdžiui, medicinoje.”
Be naujų darbų, skirtų paaiškinimams tobulinti, Zhou tikisi sulaukti daugiau mokslinių tyrimų, susijusių su paaiškinimo metodais, skirtais konkretiems naudojimo atvejams, pavyzdžiui, modelių derinimui, moksliniams atradimams, sąžiningumo auditui ir saugos užtikrinimui. Nustatę smulkias paaiškinimo metodų charakteristikas ir skirtingų naudojimo atvejų reikalavimus, mokslininkai galėtų sukurti teoriją, kuri suderintų paaiškinimus su konkrečiais scenarijais, o tai padėtų įveikti kai kuriuos keblumus, kylančius juos naudojant realiuose scenarijuose
