Ne visi duomenys yra vienodi. Tačiau kiek informacijos gali būti bet kuriame duomenų vienete? Šis klausimas yra labai svarbus atliekant medicininius tyrimus, rengiant mokslinius eksperimentus ir net kasdieniam žmogaus mokymuisi ir mąstymui. MIT mokslininkai sukūrė naują būdą šiai problemai spręsti, atveriantį naujas taikymo galimybes medicinoje, moksliniuose atradimuose, kognityviniuose moksluose ir dirbtiniame intelekte.
Teoriškai į šį klausimą galutinai atsakė 1948 mirusio MIT profesoriaus emerito Klodo Šenono (Claude Shannon) straipsnis „Matematinė komunikacijos teorija“ . Vienas iš svarbiausių Shannono rezultatų yra entropijos idėja, kuri leidžia kiekybiškai įvertinti bet kokiam atsitiktiniam objektui, įskaitant atsitiktinius kintamuosius, modeliuojančius stebimus duomenis, būdingos informacijos kiekį. Shannono rezultatai padėjo informacijos teorijos ir šiuolaikinių telekomunikacijų pagrindus. Entropijos sąvoka taip pat tapo svarbiausia informatikos moksle ir mašininiame mokyme.
Entropijos įvertinimo iššūkis
Deja, Šenono formulės naudojimas greitai gali tapti skaičiavimo požiūriu sunkiai įveikiamas. Reikia tiksliai apskaičiuoti duomenų tikimybę, o tai savo ruožtu reikalauja apskaičiuoti visus įmanomus duomenų atsiradimo būdus pagal tikimybinį modelį. Jei duomenų generavimo procesas yra labai paprastas, pavyzdžiui, vienintelis monetos metimas arba pakrauto kauliuko metimas, entropijas apskaičiuoti nesudėtinga. Tačiau panagrinėkime medicininių tyrimų problemą, kai teigiamas tyrimo rezultatas yra šimtų sąveikaujančių kintamųjų, kurie visi nežinomi, rezultatas. Turint tik 10 nežinomųjų, jau yra 1,000 galimų duomenų paaiškinimų. Esant keliems šimtams, galimų paaiškinimų yra daugiau nei atomų žinomoje visatoje, todėl entropijos apskaičiavimas tampa tiksliai neįveikiama problema.
MIT tyrėjai sukūrė naują metodą, leidžiantį apskaičiuoti gerą daugelio informacijos dydžių, pavyzdžiui, Šenono entropijos, aproksimaciją taikant tikimybinę išvadą. Šis darbas pateikiamas AISTATS 2022 pristatytame straipsnyje, kurio autoriai yra Feras Saadas (Feras Saad) ’16, MEng ’16, elektros inžinerijos ir informatikos mokslų daktaras; Marco-Cusumano Towneris (Marco-Cusumano Towner PhD ’21) ir Vikašas Mansinghka (Vikash Mansinghka) ’05, MEng ’09, PhD ’09, Smegenų ir kognityvinių mokslų departamento vyriausiasis mokslininkas. Pagrindinė įžvalga – užuot išvardijus visus paaiškinimus, vietoj to naudoti tikimybinės išvados algoritmus, kad pirmiausia būtų galima padaryti išvadą, kurie paaiškinimai yra tikėtini, o tada šiuos tikėtinus paaiškinimus naudoti aukštos kokybės entropijos įverčiams sudaryti. Straipsnyje parodyta, kad šis išvada pagrįstas metodas gali būti daug greitesnis ir tikslesnis nei ankstesni metodai.
Įvertinti entropiją ir informaciją tikimybiniame modelyje iš esmės sunku, nes dažnai reikia spręsti didelio matmens integravimo uždavinį. Daugelyje ankstesnių darbų buvo sukurti šių dydžių įverčiai tam tikriems specialiems atvejams, tačiau naujieji entropijos įverčiai per išvadą (EEVI) siūlo pirmąjį metodą, kuris gali suteikti aiškias viršutines ir apatines ribas plačiam informacijos teorijos dydžių rinkiniui. Viršutinė ir apatinė riba reiškia, kad nors nežinome tikrosios entropijos, galime gauti skaičių, kuris yra mažesnis už ją, ir skaičių, kuris yra didesnis už ją.
„Viršutinės ir apatinės entropijos ribos, kurias pateikia mūsų metodas, yra ypač naudingos dėl trijų priežasčių, – sako Saadas. „Pirma, skirtumas tarp viršutinės ir apatinės ribos kiekybiškai parodo, kiek pasitikime įverčiais. Antra, naudodami daugiau skaičiavimo pastangų galime skirtumą tarp dviejų ribų priartinti prie nulio, o tai leidžia labai tiksliai „išspausti“ tikrąją vertę. Trečia, šias ribas galime sudaryti iš daugelio kitų dydžių įverčių, kurie parodo, kiek skirtingi modelio kintamieji yra informatyvūs vienas kito atžvilgiu.“
Pagrindinių problemų sprendimas su duomenimis grindžiamomis ekspertinėmis sistemomis
Saadas sako, kad jį labiausiai džiugina galimybė, kurią šis metodas suteikia užklausoms apie tikimybinius modelius tokiose srityse kaip mašinomis padedama medicininė diagnostika. Jis sako, kad vienas iš EEVI metodo tikslų yra galimybė spręsti naujas užklausas naudojant turtingus generatyvinius modelius, pavyzdžiui, kepenų ligų ir diabeto, kuriuos jau sukūrė medicinos srities ekspertai. Pavyzdžiui, tarkime, kad turime pacientą su stebimų požymių rinkiniu (ūgis, svoris, amžius ir t. t.) ir stebimais simptomais (pykinimas, kraujospūdis ir t. t.). Atsižvelgiant į šiuos požymius ir simptomus, EEVI gali būti naudojamas padėti nustatyti, kokius medicininius tyrimus dėl simptomų gydytojas turėtų atlikti, kad gautų kuo daugiau informacijos apie tam tikros kepenų ligos (pavyzdžiui, kepenų cirozės ar pirminio biliarinio cholangito) nebuvimą ar buvimą
Insulino diagnostikai autoriai parodė, kaip naudoti metodą, skirtą apskaičiuoti optimalų gliukozės kiekio kraujyje matavimo laiką, kuris maksimaliai padidina informaciją apie paciento jautrumą insulinui, atsižvelgiant į ekspertų sudarytą tikimybinį insulino metabolizmo modelį ir paciento individualų valgymo ir vaistų vartojimo grafiką. Kadangi įprastinis medicininis stebėjimas, pavyzdžiui, gliukozės stebėjimas, iš gydytojų kabinetų persikelia į nešiojamuosius prietaisus, atsiranda dar daugiau galimybių pagerinti duomenų gavimą, jei duomenų vertę galima iš anksto tiksliai įvertinti
Straipsnio vyresnysis autorius Vikashas Mansinghka priduria: „Parodėme, kad tikimybinės išvados algoritmai gali būti naudojami griežtoms informacijos matų riboms, kurias dirbtinio intelekto inžinieriai dažnai laiko sunkiai apskaičiuojamomis, įvertinti. Tai atveria daug naujų taikymo sričių. Tai taip pat parodo, kad išvada gali būti skaičiavimo požiūriu fundamentalesnė, nei manėme. Tai taip pat padeda paaiškinti, kaip žmogaus protas gali sugebėti taip plačiai įvertinti informacijos vertę, kuri yra pagrindinis kasdienio pažinimo elementas, ir padeda mums kurti tokias galimybes turinčias dirbtinio intelekto ekspertines sistemas.“
Straipsnis „Estimators of Entropy and Information via Inference in Probabilistic Models“ („Entropijos ir informacijos įverčiai per tikimybinių modelių išvadas“) buvo pristatytas AISTATS 2022.
