Kokia tikimybė žūti lėktuvo katastrofoje? Remiantis Tarptautinės oro transporto asociacijos 2022 m. paskelbta ataskaita, pramonės mirtingumo rizika yra 0,11. Kitaip tariant, vidutiniškai žmogui tektų skristi kasdien 25 214 metų, kad būtų 100 procentų tikimybė patirti mirtiną avariją. Labai reguliuojama aviacijos pramonė, ilgai reklamuojama kaip viena saugiausių transporto rūšių, MIT mokslininkai mano, kad tai gali būti raktas į dirbtinio intelekto reguliavimą sveikatos priežiūros srityje.
Marzyeh Ghassemi, MIT Elektros inžinerijos ir kompiuterių mokslų katedros (EECS) ir Medicinos inžinerijos mokslų instituto docentas, ir Julie Shah, MIT aeronautikos ir astronautikos profesorė HN Slater, domisi skaidrumo iššūkiais AI modeliai. Po pokalbių 2023 m. pradžioje jie suprato, kad aviacija gali būti pavyzdys, užtikrinantis, kad neobjektyvūs AI modeliai nepakenktų marginalizuotiems pacientams.
Ghassemi, kuris taip pat yra pagrindinis tyrėjas MIT Abdul Latif Jameel klinikoje, skirtoje mašininiam mokymuisi sveikatos srityje (Jameel klinika) ir kompiuterių mokslo ir dirbtinio intelekto laboratorijoje (CSAIL), ir Shahas įdarbino tarpdisciplininę tyrėjų, advokatų, ir politikos analitikai iš MIT, Stenfordo universiteto, Amerikos mokslininkų federacijos, Emory universiteto, Adelaidės universiteto, Microsoft ir Kalifornijos universiteto San Franciske, kad pradėtų mokslinių tyrimų projektą, kurio rezultatai neseniai buvo priimti į Equity and Access. Algoritmų, mechanizmų ir optimizavimo konferencijoje.
„Manau, kad daugelis mūsų bendraautorių džiaugiasi AI galimybe daryti teigiamą poveikį visuomenei, ypač atsižvelgiant į naujausius pasiekimus“, – sako pirmoji autorė Elizabeth Bondi-Kelly, dabar Mičigano universiteto EECS docentė, Ghassemi laboratorijos doktorantūra. projektas prasidėjo. „Tačiau mes taip pat esame atsargūs ir tikimės sukurti sistemas, skirtas valdyti galimas rizikas, kai prasidės diegimas, todėl ieškojome įkvėpimo tokioms sistemoms.
DI sveikatos srityje šiandien yra panašus į tai, kur aviacijos pramonė buvo prieš šimtmetį, sako bendraautorė Lindsay Sanneman, MIT Aeronautikos ir astronautikos katedros doktorantė. Pasak Mackinac viešosios politikos centro, XX amžiaus 20-asis dešimtmetis buvo žinomas kaip „aukso aviacijos amžius“, mirtinų nelaimingų atsitikimų buvo „nerimą kelianti daugybė“.
Jeffas Marcusas, dabartinis Nacionalinės transporto saugos valdybos (NTSB) Saugos rekomendacijų skyriaus viršininkas, neseniai paskelbė Nacionalinio aviacijos mėnesio tinklaraščio įrašą, kuriame pažymėjo, kad nors XX a. ketvirtajame dešimtmetyje įvyko daug mirtinų nelaimių, 1929 m. tebėra „blogiausi metai istorijoje“ daugiausiai mirtinų aviacijos nelaimių istorijoje, pranešta apie 51 avariją. Pagal šiandienos standartus tai būtų 7000 nelaimingų atsitikimų per metus arba 20 per dieną. Reaguodamas į didelį mirtinų nelaimingų atsitikimų skaičių XX a. 20-ajame dešimtmetyje, prezidentas Calvinas Coolidge’as 1926 m. priėmė svarbų įstatymą, žinomą kaip Oro prekybos įstatymas, kuris reglamentuotų keliones oro transportu per Prekybos departamentą.
Tačiau paralelės tuo nesibaigia – aviacijos kelias į automatizavimą yra panašus į AI. AI paaiškinamumas buvo ginčytina tema, atsižvelgiant į liūdnai pagarsėjusią AI „juodosios dėžės“ problemą, dėl kurios AI tyrėjai diskutuoja, kiek dirbtinio intelekto modelis turi „paaiškinti“ savo rezultatą vartotojui, prieš galintį nukreipti jį į aklai sekti modelio nurodymus.
„Aštuntajame dešimtmetyje vis daugėjo automatizavimo… autopiloto sistemų, kurios rūpinasi pilotų perspėjimu apie riziką“, – priduria Sanneman. „Automatizacijai patekus į aviacijos erdvę, kilo tam tikrų skausmų, susijusių su žmogaus sąveika su autonomine sistema – galima painiava, kuri kyla, kai pilotas nelabai supranta, ką daro automatika.
Šiandien norint tapti komercinių oro linijų kapitonu, reikia 1500 valandų skrydžio laiko kartu su prietaisų mokymais. Pasak mokslininkų, šis griežtas ir išsamus procesas trunka maždaug 15 metų, įskaitant bakalauro laipsnį ir antrąjį pilotavimą. Tyrėjai mano, kad išsamaus pilotinio mokymo sėkmė galėtų būti galimas pavyzdys, kaip mokyti gydytojus dirbtinio intelekto įrankius klinikinėje aplinkoje.
Straipsnyje taip pat siūloma skatinti teikti pranešimus apie nesaugius dirbtinio intelekto įrankius sveikatai, kaip tai daro Federalinė aviacijos agentūra (FAA) pilotams – taikant „ribotą imunitetą“, leidžiantį pilotams išlaikyti licenciją atlikus ką nors nesaugaus, jei tai buvo padaryta netyčia.
Remiantis 2023 m. Pasaulio sveikatos organizacijos paskelbta ataskaita, vidutiniškai vienas iš 10 pacientų nukenčia dėl nepageidaujamo įvykio (ty „medicininės klaidos“), kai jis buvo gydomas ligoninėje dideles pajamas gaunančiose šalyse.
Tačiau dabartinėje sveikatos priežiūros praktikoje gydytojai ir sveikatos priežiūros darbuotojai dažnai bijo pranešti apie medicinines klaidas ne tik dėl susirūpinimo dėl kaltės ir savikritikos, bet ir dėl neigiamų pasekmių, pabrėžiančių asmenų bausmę, pavyzdžiui, dėl medicininės licencijos atėmimo. , o ne reformuoti sistemą, kuri padidino medicininių klaidų tikimybę.
„Sveikata, kai plaktukas nepatenka, kenčia pacientai“, – rašė Ghassemi neseniai paskelbtame komentare Gamta Žmogaus elgesys. „Ši realybė kelia nepriimtiną etinę riziką medicinos AI bendruomenėms, kurios ir taip susiduria su sudėtingomis priežiūros problemomis, darbuotojų trūkumu ir perkrautomis sistemomis.
Grace Wickerson, Amerikos mokslininkų federacijos bendraautorė ir sveikatos teisingumo politikos vadovė, mano, kad šis naujas dokumentas yra esminis platesnės valdymo sistemos, kurios dar nėra, papildymas. „Manau, kad su esama vyriausybės valdžia galime padaryti daug“, – sako jie. „Yra įvairių būdų, kaip „Medicare“ ir „Medicaid“ gali mokėti už sveikatos dirbtinį intelektą, o tai užtikrina, kad jų pirkimo ar kompensavimo technologijose būtų atsižvelgiama į teisingumą, NIH. [National Institute of Health] gali finansuoti daugiau tyrimų, kad algoritmai būtų teisingesni, ir sukurti šių algoritmų standartus, kuriuos vėliau galėtų naudoti FDA [Food and Drug Administration] nes jie bando išsiaiškinti, ką reiškia teisingumas sveikatos srityje ir kaip jie yra reguliuojami dabartinėse institucijose.
Be kita ko, dokumente išvardytos šešios pagrindinės esamos vyriausybinės agentūros, galinčios padėti reguliuoti sveikatos AI, įskaitant: FDA, Federalinę prekybos komisiją (FTC), neseniai įsteigtą Pažangių tyrimų projektų sveikatos agentūrą, Sveikatos priežiūros tyrimų ir kokybės agentūrą, Medicare ir Medicaid centrai, Sveikatos ir žmogiškųjų paslaugų departamentas bei Piliečių teisių biuras (OCR).
Tačiau Wickersonas sako, kad reikia padaryti daugiau. Wickersono nuomone, sunkiausia dalis rašant darbą buvo „įsivaizduoti tai, ko dar neturime“.
Užuot pasikliaujant vien esamomis reguliavimo institucijomis, dokumente taip pat siūloma sukurti nepriklausomą audito instituciją, panašią į NTSB, kuri leistų atlikti netinkamai veikiančių sveikatos AI sistemų saugos auditą.
„Manau, kad tai yra dabartinis technologijų valdymo klausimas – nuo 90-ųjų iš tikrųjų neturėjome subjekto, kuris vertintų technologijų poveikį“, – priduria Wickersonas. „Anksčiau buvo Technologijų vertinimo biuras… dar neprasidėjus skaitmeninei erai, šis biuras egzistavo, o tada federalinė vyriausybė leido jam nusileisti.
Zachas Harnedas, bendraautoris ir neseniai baigęs Stanfordo teisės mokyklą, mano, kad pagrindinis naujų technologijų iššūkis yra technologinės plėtros reguliavimas. „Tačiau dėl AI technologijos svarbos ir galimos jos teikiamos naudos bei rizikos, ypač sveikatos priežiūros srityje, buvo imtasi daugybės reguliavimo pastangų“, – sako Harned. „FDA yra neabejotinai pagrindinis žaidėjas čia, ir jie nuolat skelbė gaires ir baltąsias knygas, bandydami iliustruoti besikeičiančią jų poziciją dėl AI; Tačiau privatumas bus dar viena svarbi sritis, į kurią reikia atkreipti dėmesį, nes OCR įgyvendins HIPAA [Health Insurance Portability and Accountability Act] pusė ir FTC, užtikrinanti privatumo pažeidimus subjektams, kuriems netaikomas HIPAA.
Harned pažymi, kad ši sritis sparčiai vystosi, įskaitant tokius pokyčius, kaip neseniai priimtas Baltųjų rūmų vykdomasis įsakymas 14110 dėl saugaus ir patikimo dirbtinio intelekto plėtros, taip pat reguliavimo veiklą Europos Sąjungoje (ES), įskaitant pagrindinį ES AI aktą, kuris yra artėja prie užbaigimo. „Tai tikrai įdomus metas pamatyti, kaip ši svarbi technologija tobulinama ir reguliuojama siekiant užtikrinti saugumą ir neužgniaužti naujovių“, – sako jis.
Be reguliavimo veiklos, dokumente siūlomos ir kitos galimybės sukurti paskatas naudoti saugesnius dirbtinio intelekto įrankius, pvz., apmokėjimo už našumą programą, pagal kurią draudimo bendrovės apdovanoja ligonines už gerus rezultatus (nors mokslininkai pripažįsta, kad šis metodas reikalauja papildomos priežiūros būti teisingas).
Taigi, kiek laiko, mokslininkų nuomone, prireiktų sukurti veikiančią sveikatos AI reguliavimo sistemą? Anot dokumento, „NTSB ir FAA sistemą, kai tyrimus ir vykdymą atlieka dvi skirtingos institucijos, Kongresas sukūrė dešimtmečius“.
Bondi-Kelly tikisi, kad popierius yra AI reguliavimo galvosūkio dalis. Jos manymu, „svajonių scenarijus būtų toks, kad visi mes perskaitytume šį dokumentą ir būtų įkvėpti pritaikyti kai kurias naudingas aviacijos pamokas, kad padėtų AI išvengti kai kurių galimų AI pažeidimų diegimo metu“.
Be Ghassemi, Shah, Bondi-Kelly ir Sanneman, MIT bendraautoriai yra vyresnysis mokslininkas Leo Anthony Celi ir buvę postdocs Thomas Hartvigsen ir Swami Sankaranarayanan. Darbas iš dalies buvo finansuojamas iš MIT CSAIL METEOR stipendijos, Quanta Computing, Volkswagen fondo, Nacionalinių sveikatos institutų, Hermano LF von Helmholtzo karjeros plėtros profesoriaus ir CIFAR Azrieli Global Scholar apdovanojimo.
