Netinkamas algoritmų mokymas yra labai svarbi problema; kai dirbtinis intelektas atspindi šiuos algoritmus sukūrusių žmonių nesąmoningas mintis, rasizmą ir šališkumą, tai gali sukelti rimtą žalą. Pavyzdžiui, kompiuterinės programos klaidingai pažymėjo, kad juodaodžiai kaltinamieji gali pakartotinai nusikalsti nei baltaodžiai. Kai dirbtinis intelektas naudojo išlaidas kaip sveikatos poreikių pavyzdį, juodaodžius pacientus jis klaidingai pavadino sveikesniais nei vienodai sergančius baltuosius, nes jiems buvo išleista mažiau pinigų. Net dirbtinis intelektas rašė pjesę, kuri rėmėsi žalingais stereotipais.
Skelbtinų funkcijų pašalinimas iš duomenų atrodo kaip tinkamas sprendimas. Bet kas atsitiks, kai to neužtenka?
Natūralios kalbos apdorojimo šališkumo pavyzdžiai yra beribiai, tačiau MIT mokslininkai ištyrė kitą svarbų, iš esmės nepakankamai ištirtą būdą: medicininius vaizdus. Naudodama tiek privačius, tiek viešus duomenų rinkinius, komanda nustatė, kad dirbtinis intelektas gali tiksliai numatyti pacientų rasę, apie kurią pranešta vien iš medicininių vaizdų. Naudodama krūtinės ląstos rentgeno, galūnių rentgeno, krūtinės ląstos kompiuterinės tomografijos ir mamogramų vaizdavimo duomenis, komanda parengė gilaus mokymosi modelį, kad rastų rasę būtų galima atpažinti kaip baltaodžius, juodaodžius ar azijiečius – nors pačiuose vaizduose nebuvo aiškiai paminėta paciento rasė. To negali padaryti net labiausiai patyrę gydytojai, ir neaišku, kaip modelis sugebėjo tai padaryti.
Bandydami paerzinti ir suprasti mįslingą viso to „kaip“, mokslininkai atliko daugybę eksperimentų. Norėdami ištirti galimus rasės aptikimo mechanizmus, jie nagrinėjo tokius kintamuosius kaip anatomijos skirtumai, kaulų tankis, vaizdų skiriamoji geba ir daugelis kitų, o modeliai vis dar vyravo su dideliu gebėjimu aptikti rasę iš krūtinės ląstos rentgeno spindulių. „Šie rezultatai iš pradžių buvo klaidinantys, nes mūsų tyrimų grupės nariai negalėjo niekur priartėti prie tinkamo šios užduoties tarpinio serverio nustatymo“, – sako dokumento bendraautorius Marzyehas Ghassemi, MIT Elektros inžinerijos ir kompiuterių mokslo katedros docentas. ir Medicinos inžinerijos ir mokslo institutas (IMES), kuris yra kompiuterių mokslo ir dirbtinio intelekto laboratorijos (CSAIL) ir MIT Jameel klinikos filialas. „Net tada, kai filtruojate medicininius vaizdus ten, kur vaizdai apskritai atpažįstami kaip medicininiai vaizdai, giluminiai modeliai išlaiko labai aukštą našumą. Tai kelia nerimą, nes antžmogiškus gebėjimus paprastai daug sunkiau kontroliuoti, reguliuoti ir neleisti jiems pakenkti žmonėms.“
Klinikinėje aplinkoje algoritmai gali padėti mums pasakyti, ar pacientas yra kandidatas. chemoterapijai, padiktuokite pacientų skirstymą arba nuspręskite, ar būtinas judėjimas į intensyviosios terapijos skyrių. „Manome, kad algoritmai žiūri tik į gyvybinius požymius arba laboratorinius tyrimus, bet gali būti, kad jie taip pat žiūri į jūsų rasę, etninę kilmę, lytį, nesvarbu, ar esate įkalintas, ar ne, net jei visa ši informacija yra paslėpta. sako straipsnio bendraautorius Leo Anthony Celi, pagrindinis MIT IMES mokslininkas ir Harvardo medicinos mokyklos medicinos docentas. „Vien dėl to, kad savo algoritmuose atstovaujate skirtingoms grupėms, tai negarantuoja, kad tai nepadidins ar nepadidins esamų skirtumų ir nelygybės. Algoritmams pateikti daugiau duomenų su reprezentacija nėra panacėja. Šis dokumentas turėtų priversti mus stabtelėti ir iš tikrųjų persvarstyti, ar esame pasirengę priversti dirbtinį intelektą prie lovos.
Tyrimas „Pacientų rasės AI atpažinimas medicininiame vaizdavime: modeliavimo tyrimas“ buvo paskelbtas „Lancet Digital Health“ Gegužę 11. Celi ir Ghassemi parašė darbą kartu su 20 kitais autoriais keturiose šalyse.
Norėdami atlikti bandymus, mokslininkai pirmiausia parodė, kad modeliai buvo gali numatyti lenktynes įvairiuose vaizdo gavimo būduose, įvairiuose duomenų rinkiniuose ir įvairiose klinikinėse užduotyse, taip pat įvairiuose akademiniuose centruose ir pacientų populiacijose Jungtinėse Valstijose. Jie naudojo tris didelius krūtinės ląstos rentgeno duomenų rinkinius ir išbandė modelį su nematomu duomenų rinkinio pogrupiu, naudojamu modeliui parengti, ir visiškai kitokiu. Tada jie apmokė rasinės tapatybės aptikimo modelius ne krūtinės ląstos rentgeno vaizdams iš kelių kūno vietų, įskaitant skaitmeninę rentgenografiją, mamografiją, šoninę kaklo stuburo rentgenografiją ir krūtinės ląstos KT, kad sužinotų, ar modelio veikimas apsiriboja krūtinės ląstos rentgeno spinduliais.
Bandydama paaiškinti modelio elgesį, komanda apėmė daugybę pagrindų: skirtingų rasinių grupių fizinių savybių skirtumai (kūno įpročiai, krūtų tankis), ligų pasiskirstymas (ankstesni tyrimai parodė, kad juodaodžiai pacientai dažniau serga sveikatos problemomis, tokiomis kaip širdies liga), vietos ar audinių skirtumų, visuomenės šališkumo ir aplinkos streso poveikio, gilaus mokymosi sistemų gebėjimo aptikti rasę, kai buvo derinami keli demografiniai ir paciento veiksniai, ir jei specifiniai. įvaizdžio regionai prisidėjo prie rasės atpažinimo.
Tai, kas paaiškėjo, buvo tikrai stulbinanti: modelių gebėjimas numatyti rasę vien tik pagal diagnostikos etiketes buvo daug mažesnis nei krūtinės ląstos rentgeno vaizdais pagrįstų modelių.
Pavyzdžiui, atliekant kaulų tankio testą buvo naudojami vaizdai, kuriuose storesnė kaulo dalis atrodė balta, o plonesnė – pilkesnė arba permatomesnė. Mokslininkai manė, kad kadangi juodaodžiai paprastai turi didesnį kaulų mineralų tankį, spalvų skirtumai padėjo AI modeliams aptikti rasę. Norėdami tai sumažinti, jie nukirpo vaizdus naudodami filtrą, todėl modelis negalėjo skirtis spalvų. Paaiškėjo, kad spalvų tiekimo nutraukimas modeliui nesugadino – jis vis tiek galėjo tiksliai numatyti lenktynes. („Ploto po kreive“ reikšmė, reiškianti kiekybinio diagnostinio tyrimo tikslumo matą, buvo 0.–0.96 ). Išmoktos modelio ypatybės, atrodo, priklauso nuo visų vaizdo regionų, o tai reiškia, kad tokio tipo algoritminio elgesio valdymas yra nepatogi ir sudėtinga problema.
Mokslininkai pripažįsta, kad rasinės tapatybės etiketės yra ribotos, todėl jie sutelkė dėmesį į Azijos, juodaodžių ir baltųjų populiacijas ir kad jų pagrindinė tiesa buvo pačių pranešta detalė. Kiti būsimi darbai apims potencialų skirtingų signalų išskyrimą prieš atkuriant vaizdą, nes, kaip ir atliekant kaulų tankio eksperimentus, jie negalėjo atsižvelgti į liekamąjį kaulinį audinį, kuris buvo vaizduose.
Pažymėtina, kad kituose Ghassemi ir Celi darbuose, kuriems vadovavo MIT studentas Hammaad Adam, buvo nustatyta, kad modeliai taip pat gali identifikuoti paciento rasę, apie kurią buvo pranešta pagal klinikinius užrašus, net jei iš šių užrašų nėra aiškūs lenktynės. Kaip ir šiame darbe, žmonių ekspertai negali tiksliai numatyti pacientų rasės pagal tuos pačius redaguotus klinikinius užrašus.
„Turime įtraukti socialinius mokslininkus į paveikslą. Domeno ekspertų, kurie dažniausiai yra gydytojai, visuomenės sveikatos specialistai, kompiuterių mokslininkai ir inžinieriai, nepakanka. Sveikatos priežiūra yra tiek socialinė-kultūrinė, tiek medicininė problema. Mums reikia kitos ekspertų grupės, kuri pasvertų ir pateiktų informaciją bei atsiliepimus apie tai, kaip mes projektuojame, kuriame, diegiame ir vertiname šiuos algoritmus“, – sako Celi. „Prieš bet kokį duomenų tyrimą turime paklausti duomenų mokslininkų, ar yra skirtumų? Kurios pacientų grupės yra atskirtos? Kokie yra tų skirtumų veiksniai? Ar tai prieiga prie priežiūros? Ar tai iš slaugytojų subjektyvumo? Jei to nesuprasime, neturėsime galimybės nustatyti nenumatytų algoritmų pasekmių ir niekaip negalėsime apsaugoti algoritmų nuo paklaidų. ) „Faktas, kad algoritmai „mato“ lenktynes, kaip įtikinamai dokumentuoja autoriai, gali būti pavojinga. Tačiau svarbus ir susijęs faktas yra tai, kad kruopščiai naudojami algoritmai taip pat gali kovoti su šališkumu“, – sako Ziadas Obermeyeris, Kalifornijos universiteto Berklyje docentas, kurio moksliniai tyrimai daugiausia dėmesio skiria AI sveikatai. „Mūsų pačių darbe, kuriam vadovauja kompiuterių mokslininkė Emma Pierson iš Kornelio, parodome, kad algoritmai, kurie mokosi iš pacientų skausmo patirties, gali rasti naujų kelio skausmo šaltinių rentgeno spinduliuose, kurie neproporcingai veikia juodaodžius pacientus, o radiologai jų neproporcingai praleidžia. Taigi, kaip ir bet kuris įrankis, algoritmai gali būti blogio ar gėrio jėga – kuri priklauso nuo mūsų ir nuo pasirinkimų, kuriuos darome kurdami algoritmus.“
Darbas yra iš dalies remia Nacionaliniai sveikatos institutai.
