Dirbtinio intelekto modeliai, kurie atrenka vaizdų raštus, dažnai gali tai padaryti geriau nei žmogaus akys, bet ne visada. Jei radiologas naudoja dirbtinio intelekto modelį, kad nustatytų, ar paciento rentgeno nuotraukos rodo pneumonijos požymius, kada ji turėtų pasitikėti modelio patarimais, o kada – nepaisyti?
Pasak MIT ir MIT-IBM Watson AI Lab tyrėjų, šiam radiologui galėtų padėti atsakyti į šį klausimą pritaikytas priėmimo procesas. Jie sukūrė sistemą, kuri moko vartotoją, kada bendradarbiauti su AI asistentu.
Tokiu atveju mokymo metodas gali rasti situacijų, kai radiologas pasitiki modelio patarimais, išskyrus tai, kad ji neturėtų, nes modelis yra neteisingas. Sistema automatiškai išmoksta taisykles, kaip ji turėtų bendradarbiauti su AI, ir aprašo jas natūralia kalba.
Priėmimo metu radiologė bendradarbiauja su dirbtiniu intelektu, atlikdama treniruotes pagal šias taisykles, gaudama grįžtamąjį ryšį apie savo ir AI veiklą.
Tyrėjai nustatė, kad ši įjungimo procedūra leido maždaug 5 procentais pagerinti tikslumą, kai žmonės ir dirbtinis intelektas bendradarbiavo atliekant vaizdo numatymo užduotį. Jų rezultatai taip pat rodo, kad vien tik pasakymas vartotojui, kada pasitikėti AI, be mokymo, pablogino našumą.
Svarbu tai, kad tyrėjų sistema yra visiškai automatizuota, todėl ji išmoksta sukurti prisijungimo procesą pagal duomenis iš žmogaus ir dirbtinio intelekto, atliekančio konkrečią užduotį. Jis taip pat gali prisitaikyti prie įvairių užduočių, todėl gali būti padidintas ir naudojamas daugelyje situacijų, kai žmonės ir AI modeliai veikia kartu, pavyzdžiui, reguliuojant socialinės žiniasklaidos turinį, rašant ir programuojant.
„Dažnai žmonėms suteikiami šie dirbtinio intelekto įrankiai be jokio mokymo, kad jie suprastų, kada tai bus naudinga. Taip nedarome su beveik visais kitais įrankiais, kuriuos naudoja žmonės – beveik visada yra kokia nors pamoka. Tačiau AI, atrodo, to trūksta. Bandome spręsti šią problemą iš metodologinės ir elgsenos perspektyvos“, – sako Husseinas Mozannaras, Duomenų, sistemų ir visuomenės instituto (IDSS) Socialinių ir inžinerinių sistemų doktorantūros studijų programos absolventas ir pagrindinis straipsnio apie tai autorius. šis mokymo procesas.
Tyrėjai mano, kad toks mokymas bus esminė medicinos specialistų mokymo dalis.
„Pavyzdžiui, galima įsivaizduoti, kad gydytojai, priimantys sprendimus dėl gydymo naudodamiesi dirbtiniu intelektu, pirmiausia turės atlikti mokymus, panašius į tai, ką mes siūlome. Mums gali tekti permąstyti viską nuo tęstinio medicininio mokymo iki klinikinių tyrimų būdo“, – sako vyresnysis autorius Davidas Sontagas, EECS profesorius, MIT-IBM Watson AI laboratorijos ir MIT Jameel klinikos narys ir vadovas. Kompiuterių mokslo ir dirbtinio intelekto laboratorijos (CSAIL) klinikinio mašininio mokymosi grupė.
Mozannar, kuris taip pat yra Clinical Machine Learning Group tyrėjas, dokumente prisijungė Jimin J. Lee, elektros inžinerijos ir informatikos bakalauras; Dennis Wei, IBM tyrimų vyresnysis mokslo darbuotojas; ir Prasanna Sattigeri ir Subhro Das, MIT-IBM Watson AI laboratorijos mokslo darbuotojai. Pranešimas bus pristatytas Neuroninių informacijos apdorojimo sistemų konferencijoje.
Treniruotės, kurios vystosi
Esami žmogaus ir dirbtinio intelekto bendradarbiavimo metodai dažnai susideda iš mokymo medžiagos, kurią konkretiems naudojimo atvejams parengia žmonių ekspertai, todėl sunku juos išplėsti. Kai kurie susiję metodai remiasi paaiškinimais, kai AI praneša vartotojui, kad jis pasitiki kiekvienu sprendimu, tačiau tyrimai parodė, kad paaiškinimai retai būna naudingi, sako Mozannar.
„AI modelio galimybės nuolat tobulėja, todėl naudojimo atvejų, kai žmogus gali iš to gauti naudos, laikui bėgant daugėja. Tuo pačiu metu vartotojo suvokimas apie modelį ir toliau keičiasi. Taigi mums reikia mokymo procedūros, kuri laikui bėgant taip pat vystosi“, – priduria jis.
Norėdami tai padaryti, jų prisijungimo metodas automatiškai išmokamas iš duomenų. Jis sukurtas iš duomenų rinkinio, kuriame yra daug užduoties atvejų, pvz., šviesoforo aptikimas iš neryškaus vaizdo.
Pirmasis sistemos žingsnis yra rinkti duomenis apie šią užduotį atliekančius žmones ir dirbtinį intelektą. Tokiu atveju žmogus AI pagalba bandytų nuspėti, ar neryškiuose vaizduose yra šviesoforų.
Sistema įterpia šiuos duomenų taškus į latentinę erdvę, kuri yra duomenų, kuriuose panašūs duomenų taškai yra arčiau vienas kito, vaizdas. Jis naudoja algoritmą, kad nustatytų šios erdvės regionus, kuriuose žmogus neteisingai bendradarbiauja su AI. Šie regionai fiksuoja atvejus, kai žmogus pasitikėjo AI prognozėmis, tačiau prognozė buvo klaidinga ir atvirkščiai.
Galbūt žmogus klaidingai pasitiki AI, kai vaizdai rodo greitkelį naktį.
Atradęs regionus, antrasis algoritmas naudoja didelį kalbos modelį, kad apibūdintų kiekvieną regioną, kaip taisyklę, naudojant natūralią kalbą. Algoritmas pakartotinai patikslina taisyklę ieškodamas kontrastingų pavyzdžių. Tai gali apibūdinti šį regioną kaip „nekreipti dėmesio į AI, kai naktį tai greitkelis“.
Šios taisyklės naudojamos rengiant treniruotes. Įdiegimo sistema rodo pavyzdį žmogui, šiuo atveju neryškią greitkelio sceną naktį, taip pat AI prognozę ir klausia vartotojo, ar vaizde rodomi šviesoforai. Vartotojas gali atsakyti taip, ne arba naudoti AI prognozę.
Jei žmogus klysta, jiems rodomas teisingas atsakymas ir žmogaus bei dirbtinio intelekto našumo statistika šiais užduoties atvejais. Sistema tai daro kiekvienam regionui ir treniruotės pabaigoje pakartoja žmogaus padarytus pratimus.
„Po to žmogus sužinojo kažką apie šiuos regionus, kuriuos, tikimės, jie atims ateityje, kad galėtų tiksliau prognozuoti“, – sako Mozannaras.
Priėmimas padidina tikslumą
Tyrėjai išbandė šią sistemą su vartotojais, atlikdami dvi užduotis – aptikdami šviesoforus neryškiuose vaizduose ir atsakydami į klausimus iš daugelio sričių (pvz., biologijos, filosofijos, informatikos ir kt.).
Pirmiausia jie parodė vartotojams kortelę su informacija apie AI modelį, kaip jis buvo apmokytas, ir jo veikimo suskirstymą pagal plačias kategorijas. Vartotojai buvo suskirstyti į penkias grupes: kai kuriems buvo parodyta tik kortelė, kai kuriems buvo atlikta tyrėjų priėmimo procedūra, kai kuriems buvo atlikta pradinė priėmimo procedūra, kai kuriems buvo atlikta tyrėjų priėmimo procedūra ir buvo pateiktos rekomendacijos, kada jie turėtų ar ne. pasitiki AI, o kitiems buvo pateiktos tik rekomendacijos.
Tik tyrėjų įtraukimo procedūra be rekomendacijų žymiai pagerino naudotojų tikslumą ir padidino jų našumą atliekant šviesoforo numatymo užduotį maždaug 5 proc., nesulėtinant jų. Tačiau įjungimas nebuvo toks efektyvus atliekant atsakymų į klausimus užduotį. Tyrėjai mano, kad taip yra todėl, kad dirbtinio intelekto modelis ChatGPT su kiekvienu atsakymu pateikė paaiškinimus, nurodančius, ar juo reikėtų pasitikėti.
Tačiau rekomendacijų teikimas neprisijungus turėjo priešingą efektą – naudotojai ne tik prasčiau veikė, bet ir užtruko daugiau laiko prognozuoti.
„Kai kažkam teikiate tik rekomendacijas, atrodo, kad jie susipainioja ir nežino, ką daryti. Tai trukdo jų procesui. Žmonėms taip pat nepatinka, kad jiems nurodoma, ką daryti, todėl tai taip pat yra veiksnys“, – sako M. Mozannar.
Jis priduria, kad vien tik rekomendacijų teikimas gali pakenkti vartotojui, jei šios rekomendacijos yra neteisingos. Kita vertus, įdiegus didžiausią apribojimą yra turimų duomenų kiekis. Jei nėra pakankamai duomenų, priėmimo etapas nebus toks efektyvus, sako jis.
Ateityje jis ir jo bendradarbiai nori atlikti didesnius tyrimus, kad įvertintų trumpalaikį ir ilgalaikį įtraukimo į laivą poveikį. Jie taip pat nori panaudoti nepažymėtus duomenis įtraukimo procesui ir rasti metodus, kaip veiksmingai sumažinti regionų skaičių, nepraleidžiant svarbių pavyzdžių.
„Žmonės nenoriai imasi dirbtinio intelekto sistemų, ir iš tiesų AI siūlo didelį potencialą, tačiau šie AI agentai vis tiek kartais daro klaidų. Taigi, dirbtinio intelekto kūrėjams labai svarbu sukurti metodus, kurie padėtų žmonėms žinoti, kada saugu pasikliauti AI pasiūlymais“, – sako Danas Weldas, Vašingtono universiteto Paulo G. Alleno kompiuterių mokslo ir inžinerijos mokyklos profesorius emeritas. nedalyvavo šiame tyrime. „Mozannar ir kt. sukūrė novatorišką metodą situacijoms, kuriose dirbtinis intelektas yra patikimas, nustatyti ir (svarbu) apibūdinti jas žmonėms taip, kad būtų geresnė žmogaus ir AI komandos sąveika.
Šį darbą iš dalies finansuoja MIT-IBM Watson AI Lab.
