Mašininio mokymosi srityje suprasti, kodėl modelis priima tam tikrus sprendimus, dažnai yra taip pat svarbu, kaip ir tai, ar tie sprendimai yra teisingi. Pavyzdžiui, mašininio mokymosi modelis gali teisingai numatyti, kad odos pažeidimas yra vėžinis, tačiau jis galėjo tai padaryti remdamasis nesusijusia klinikinės nuotraukos dėme.
Nors yra priemonių, padedančių ekspertams suprasti modelio samprotavimus, dažnai šie metodai suteikia įžvalgų tik apie vieną sprendimą vienu metu, ir kiekvieną jų reikia įvertinti rankiniu būdu. Modeliai paprastai mokomi naudojant milijonus įvestų duomenų, todėl žmogui beveik neįmanoma įvertinti pakankamai sprendimų, kad būtų galima nustatyti dėsningumus
Dabar MIT ir IBM Research mokslininkai sukūrė metodą, kuris leidžia vartotojui apibendrinti, rūšiuoti ir reitinguoti šiuos atskirus paaiškinimus, kad būtų galima greitai išanalizuoti mašininio mokymosi modelio elgseną. Jų metodas, pavadintas „Shared Interest”, apima kiekybiškai įvertinamus rodiklius, pagal kuriuos lyginama, kaip gerai modelio samprotavimai atitinka žmogaus samprotavimus.
Shared Interest” galėtų padėti naudotojui lengvai atskleisti modelio sprendimų priėmimo tendencijas, pavyzdžiui, galbūt modelį dažnai suklaidina blaškantys, nereikšmingi požymiai, pavyzdžiui, foniniai objektai nuotraukose. Šių įžvalgų apibendrinimas padėtų naudotojui greitai ir kiekybiškai nustatyti, ar modeliu galima pasitikėti ir ar jį galima naudoti realioje situacijoje.
„Kurdami „Shared Interest” siekėme, kad šį analizės procesą būtų galima išplėsti, kad galėtumėte suprasti, koks yra jūsų modelio elgesys, – sako pagrindinė autorė Angie Boggust, Kompiuterių mokslo ir dirbtinio intelekto laboratorijos (CSAIL) vizualizacijos grupės magistrantė.
Darbą Boggust parašė kartu su savo konsultantu Arvind Satyanarayan, kompiuterių mokslų docentu, vadovaujančiu Vizualizavimo grupei, taip pat Benjamin Hoover ir vyresniuoju autoriumi Hendrik Strobelt, abu iš IBM Research. Straipsnis bus pristatytas konferencijoje „Human Factors in Computing Systems”
Boggust pradėjo dirbti prie šio projekto per vasaros praktiką IBM, vadovaujant Strobeltui. Grįžę į MIT, Boggustas ir Satyanarayanas išplėtė projektą ir tęsė bendradarbiavimą su Strobeltu ir Hooveriu, kurie padėjo įdiegti atvejo tyrimus, rodančius, kaip šis metodas gali būti naudojamas praktikoje.
Žmogaus ir AI derinimas
Shared Interest naudoja populiarius metodus, kurie parodo, kaip mašininio mokymosi modelis priėmė konkretų sprendimą, vadinamus saliency metodais. Jei modelis klasifikuoja vaizdus, saliency metodais išryškinamos vaizdo sritys, kurios modeliui buvo svarbios priimant sprendimą. Šios sritys vizualizuojamos kaip tam tikros rūšies šilumos žemėlapis, vadinamas išraiškingumo žemėlapiu, kuris dažnai uždengiamas ant pradinio vaizdo. Jei modelis vaizdą klasifikavo kaip šunį, o šuns galva yra paryškinta, tai reiškia, kad tie pikseliai buvo svarbūs modeliui, kai jis nusprendė, kad vaizde yra šuo.
Bendras interesas veikia lyginant saliencijos metodus su pagrindiniais duomenimis. Atvaizdų duomenų rinkinyje tikrieji duomenys paprastai yra žmogaus sukurtos anotacijos, kurios supa svarbias kiekvieno atvaizdo dalis. Ankstesniame pavyzdyje langelis supo visą nuotraukoje esantį šunį. Vertinant vaizdo klasifikavimo modelį, „Shared Interest” lygina modelio sukurtus saliency duomenis ir žmogaus sukurtus to paties vaizdo pagrindinius tikruosius duomenis, siekdama nustatyti, kaip gerai jie sutampa.
Šis metodas naudoja keletą metrikų šiam sutapimui (arba nesutapimui) kiekybiškai įvertinti ir tada priskiria konkretų sprendimą vienai iš aštuonių kategorijų. Kategorijų spektras yra įvairus: nuo visiškai suderinto su žmogumi (modelis pateikia teisingą prognozę, o išryškinta sritis išryškinimo žemėlapyje yra identiška žmogaus sukurtam langeliui) iki visiškai nesuderinto (modelis pateikia neteisingą prognozę ir nenaudoja jokių vaizdo savybių, esančių žmogaus sukurtame langelyje).
„Vienoje spektro pusėje jūsų modelis priėmė sprendimą dėl tos pačios priežasties, dėl kurios jį priėmė žmogus, o kitoje spektro pusėje jūsų modelis ir žmogus šį sprendimą priėmė dėl visiškai skirtingų priežasčių. Kiekybiškai įvertinę visus duomenų rinkinio vaizdus, galite juos rūšiuoti”, – aiškina Boggustas.
Šis metodas panašiai veikia ir su tekstiniais duomenimis, kai vietoj vaizdų regionų išryškinami raktiniai žodžiai.
Greita analizė
Tyrėjai, siekdami parodyti, kaip „Shared Interest” gali būti naudinga ir ne specialistams, ir mašininio mokymosi tyrėjams, pasinaudojo trimis atvejo tyrimais:
Pirmajame atvejo tyrime jie naudojo „Shared Interest”, kad padėtų dermatologui nustatyti, ar jis turėtų pasitikėti mašininio mokymosi modeliu, skirtu padėti diagnozuoti vėžį iš odos pažeidimų nuotraukų. Naudodamasis „Shared Interest”, dermatologas galėjo greitai pamatyti modelio teisingų ir neteisingų prognozių pavyzdžius. Galiausiai dermatologas nusprendė, kad negali pasitikėti modeliu, nes jis pateikė per daug prognozių, pagrįstų vaizdo artefaktais, o ne tikrais odos pažeidimais.
„Vertinga yra tai, kad naudodami Shared Interest galime matyti, kaip mūsų modelio elgsenoje išryškėja šie modeliai. Maždaug per pusvalandį dermatologas galėjo priimti užtikrintą sprendimą, ar pasitikėti modeliu ir jį taikyti, ar ne”, – sako Boggustas.”
Antrajame atvejo tyrime jie bendradarbiavo su mašininio mokymosi tyrėju, kad parodytų, kaip „Shared Interest” gali įvertinti konkretų salietros metodą, atskleisdama anksčiau nežinomus modelio spąstus. Jų metodas leido tyrėjui išanalizuoti tūkstančius teisingų ir neteisingų sprendimų per dalį laiko, reikalingo įprastiems rankiniams metodams
Trečiajame atvejo tyrime jie naudojo Shared Interest, kad galėtų gilintis į konkretų vaizdų klasifikavimo pavyzdį. Manipuliuodami pagrindine vaizdo sritimi, jie galėjo atlikti „kas būtų, jeigu būtų” analizę, kad pamatytų, kurios vaizdo savybės buvo svarbiausios konkrečioms prognozėms.
Tyrėjams padarė įspūdį, kaip gerai Shared Interest veikė šiuose atvejų tyrimuose, tačiau Boggustas įspėja, kad šis metodas yra tik tiek geras, kiek geri yra saliencijos metodai, kuriais jis grindžiamas. Jei šiuose metoduose yra šališkumo arba jie yra netikslūs, Shared Interest paveldės šiuos trūkumus.
Ateityje tyrėjai nori Shared Interest taikyti įvairių tipų duomenims, ypač lenteliniams duomenims, kurie naudojami medicininiuose įrašuose. Jie taip pat nori naudoti Shared Interest, kad padėtų patobulinti dabartinius saliency metodus. Boggustas tikisi, kad šis tyrimas įkvėps atlikti daugiau darbų, kuriais siekiama kiekybiškai įvertinti mašinų mokymosi modelių elgseną taip, kad ji būtų suprantama žmonėms.
Šį darbą iš dalies finansuoja MIT-IBM Watson AI Lab, Jungtinių Valstijų karinių oro pajėgų tyrimų laboratorija ir Jungtinių Valstijų karinių oro pajėgų dirbtinio intelekto greitintuvas.