Elektroniniams sveikatos įrašams (ESI) reikalingas naujas viešųjų ryšių vadovas. Prieš dešimt metų JAV vyriausybė priėmė įstatymą, kuris primygtinai skatino elektroninių sveikatos įrašų priėmimą, siekiant pagerinti ir racionalizuoti priežiūrą. Didžiulis informacijos kiekis šiuose dabar skaitmeniniuose įrašuose gali būti panaudotas atsakant į labai specifinius klausimus, kurie nėra klinikinių tyrimų apimties: kokia yra tinkama šio vaisto dozė tokio ūgio ir svorio pacientams? Ką daryti pacientams, turintiems specifinį genomo profilį?
Deja, dauguma duomenų, galinčių atsakyti į šiuos klausimus, yra įstrigę gydytojų užrašuose, pilnuose žargono ir santrumpų. Šias pastabas kompiuteriams sunku suprasti naudojant dabartinius metodus – norint gauti informaciją, reikia išmokyti kelis mašininio mokymosi modelius. Vienai ligoninei paruošti modeliai taip pat neveikia kitose, o norint išmokyti kiekvieną modelį, srities ekspertai turi pažymėti daug duomenų, o tai yra daug laiko reikalaujantis ir brangus procesas.
Idealioje sistemoje būtų naudojamas vienas modelis, galintis išgauti įvairių tipų informaciją, gerai veikti keliose ligoninėse ir mokytis iš nedidelio kiekio pažymėtų duomenų. Bet kaip? Tyrėjai iš MIT kompiuterių mokslo ir dirbtinio intelekto laboratorijos (CSAIL), vadovaujamos elektrotechnikos ir kompiuterių mokslų daktarės Monica Agrawal, manė, kad norint atskirti duomenis, reikia pasitelkti kažką didesnio: didelių kalbų modelių. Siekdami gauti šią svarbią medicininę informaciją, jie naudojo labai didelį GPT-3 stiliaus modelį, kad atliktų tokias užduotis, kaip išplėsti perkrautą žargoną ir akronimus bei išgauti vaistų režimus.
Pavyzdžiui, sistema imasi įvesties, kuri šiuo atveju yra klinikinė pastaba, ir „sufleruoja“ modelį su klausimu apie pastabą, pvz., „išplėsti šią santrumpą, CTA“. Sistema grąžina išvestį, pvz., „auskultuoti aišku“, o ne KT angiografiją. Komanda teigia, kad šių švarių duomenų išgavimo tikslas yra ilgainiui suteikti daugiau asmeninių klinikinių rekomendacijų.
Suprantama, kad medicininiai duomenys yra gana sudėtingas šaltinis, leidžiantis laisvai naršyti. Dėl duomenų naudojimo apribojimų, naudojant viešuosius išteklius didelių modelių našumui tikrinti, yra daug biurokratijos, todėl komanda nusprendė surinkti savo. Naudodami trumpų, viešai prieinamų klinikinių fragmentų rinkinį, jie sujungė nedidelį duomenų rinkinį, kad būtų galima įvertinti didelių kalbų modelių išgavimo našumą.
„Sudėtinga sukurti vieną bendrosios paskirties klinikinę natūralios kalbos apdorojimo sistemą, kuri išspręstų kiekvieno poreikius ir būtų atspari dideliems sveikatos duomenų rinkinių skirtumams. Todėl iki šiol dauguma klinikinių pastabų nebuvo naudojamos atliekant tolesnę analizę arba tiesioginiam sprendimų palaikymui elektroniniuose sveikatos įrašuose. Šie dideli kalbos modelio metodai gali potencialiai pakeisti klinikinį natūralios kalbos apdorojimą“, – sako David Sontag, MIT elektrotechnikos ir kompiuterių mokslo profesorius, CSAIL ir Medicinos inžinerijos ir mokslo instituto pagrindinis tyrėjas ir vadovaujantis autoriui apie darbą. kuris bus pristatytas empirinių natūralios kalbos apdorojimo metodų konferencijoje. „Tyrimų grupės pažanga klinikinės informacijos išgavimo nulinio kadro srityje leidžia padidinti mastelį. Net jei turite šimtus skirtingų naudojimo atvejų, jokių problemų – kiekvieną modelį galite sukurti per kelias minutes, o ne tam tikrai užduočiai reikia pažymėti daugybę duomenų.
Pavyzdžiui, be jokių etikečių, mokslininkai nustatė, kad šie modeliai gali pasiekti 86 procentų tikslumą išplečiant perkrautus akronimus, o komanda sukūrė papildomus metodus, kad tai dar labiau padidintų iki 90 procentų, tačiau vis tiek nereikia jokių etikečių.
Įkalintas EHR
Ekspertai ilgą laiką nuolat kūrė didelius kalbos modelius (LLM), tačiau jie įsiveržė į pagrindinį srautą, nes GPT-3 plačiai apima galimybę užbaigti sakinius. Šie LLM yra apmokyti naudotis didžiuliu kiekiu teksto iš interneto, kad užbaigtų sakinius ir nuspėtų kitą labiausiai tikėtiną žodį.
Nors ankstesni mažesni modeliai, tokie kaip ankstesnės GPT iteracijos arba BERT, buvo gerai išgauti medicininius duomenis, jiems vis tiek reikia didelių rankinio duomenų ženklinimo pastangų.
Pavyzdžiui, pastaba „pt bus dc vanco dėl n/v“ reiškia, kad šis pacientas (pt) vartojo antibiotiką vankomiciną (vanco), bet patyrė pakankamai stiprų pykinimą ir vėmimą (n/t), kad priežiūros komanda galėtų nutraukti gydymą. dc) vaistai. Grupės tyrime išvengiama status quo, kai kiekvienai užduočiai ugdomi atskiri mašininio mokymosi modeliai (vaistų ištraukimas, šalutinis poveikis iš įrašo, bendrų santrumpų išaiškinimas ir kt.). Be sutrumpinimų išplėtimo, jie ištyrė dar keturias užduotis, įskaitant tai, ar modeliai galėtų analizuoti klinikinius tyrimus ir išgauti išsamius gydymo režimus.
„Ankstesnis darbas parodė, kad šie modeliai jautriai reaguoja į tikslią raginimo frazę. Dalis mūsų techninio indėlio yra būdas suformatuoti raginimą taip, kad modelis pateiktų jums tinkamo formato rezultatus“, – sako Hunteris Langas, CSAIL doktorantas ir šio straipsnio autorius. „Šioms išgavimo problemoms spręsti yra struktūrizuotos išvesties erdvės. Išvesties erdvė nėra tik eilutė. Tai gali būti sąrašas. Tai gali būti citata iš pradinės įvesties. Taigi yra daugiau struktūros nei tik laisvas tekstas. Dalis mūsų indėlio į mokslinius tyrimus yra modelio skatinimas pateikti jums tinkamos struktūros rezultatą. Tai žymiai sutrumpina papildomo apdorojimo laiką.
Šis metodas negali būti taikomas jau paruoštiems sveikatos duomenims ligoninėje: tam reikia siųsti privačią paciento informaciją atviru internetu LLM teikėjui, pvz., OpenAI. Autoriai parodė, kad tai galima išspręsti distiliuojant modelį į mažesnį, kurį būtų galima naudoti vietoje.
Modelis – kartais kaip ir žmonės – ne visada priklauso nuo tiesos. Štai kaip gali atrodyti galima problema: tarkime, kad klausiate priežasties, kodėl kas nors vartojo vaistus. Be tinkamų apsauginių turėklų ir patikrinimų modelis gali tiesiog nurodyti dažniausiai pasitaikančią šio vaisto vartojimo priežastį, jei pastaboje nieko aiškiai nepaminėta. Tai paskatino komandos pastangas priversti modelį išgauti daugiau citatų iš duomenų ir mažiau laisvo teksto.
Būsimas komandos darbas apima plėtrą į kitas kalbas nei anglų, papildomų metodų modelio neapibrėžtumui įvertinti ir panašių rezultatų gavimą naudojant atvirojo kodo modelius.
„Nestruktūrizuotose klinikinėse pastabose palaidota klinikinė informacija turi unikalių iššūkių, palyginti su bendrojo domeno tekstu, daugiausia dėl didelio akronimų naudojimo ir nenuoseklių teksto modelių, naudojamų įvairiose sveikatos priežiūros įstaigose“, – sako Sadidas Hasanas, „Microsoft“ dirbtinio intelekto vadovas ir buvęs AI vykdomasis direktorius. CVS Health, kuris tyrime nedalyvavo. „Šiuo tikslu šis darbas pateikia įdomią paradigmą, kaip panaudoti bendrosios srities didelių kalbų modelių galią kelioms svarbioms nulinės / kelių kadrų klinikinės NLP užduotims. Konkrečiai, siūlomas vadovaujamas greitas LLM projektavimas, siekiant sukurti labiau struktūrizuotus rezultatus, galėtų paskatinti toliau kurti mažesnius diegiamus modelius, pakartotinai naudojant modelio sugeneruotas pseudo etiketes.
„Per pastaruosius penkerius metus dirbtinis intelektas paspartėjo iki taško, kai šie dideli modeliai gali numatyti kontekstualizuotas rekomendacijas, kurių nauda išplito įvairiose srityse, pavyzdžiui, siūlant naujas vaistų formules, suprasti nestruktūruotą tekstą, kodo rekomendacijas arba kurti meno kūrinius, įkvėptus bet koks žmonių menininkų ar stilių skaičius“, – sako Parminder Bhatia, kuris anksčiau buvo AWS Health AI mašininio mokymosi vadovas ir šiuo metu yra AWS AI Labs mažo kodo taikomųjų programų, naudojančių didelius kalbų modelius, mašininio mokymosi vadovas.
Būdami MIT Abdul Latif Jameel mašininio mokymosi sveikatos klinikoje, Agrawal, Sontag ir Lang parašė straipsnį kartu su Yoon Kim, MIT docentu ir CSAIL vyriausiuoju tyrėju, ir Stefanu Hegselmannu, atvykusiu doktorantu iš Miunsterio universiteto. Pirmojo autoriaus Agrawal tyrimus palaikė Takeda stipendija, MIT Deshpande technologijų inovacijų centras ir MLA@CSAIL iniciatyvos.
