Ne visi duomenys yra vienodi. Tačiau kiek informacijos gali būti bet kuriame duomenų elemente? Šis klausimas yra labai svarbus atliekant medicininius tyrimus, kuriant mokslinius eksperimentus ir net kasdieniame žmogaus mokyme ir mąstymui. MIT mokslininkai sukūrė naują šios problemos sprendimo būdą, atverdami naujus pritaikymus medicinoje, moksliniuose atradimuose, pažinimo moksle ir dirbtiniame intelekte.
Teoriškai į šį klausimą galutinai atsakė velionio MIT profesoriaus emerito Claude’o Shannono darbas „A Mathematical Theory of Communication“ . Vienas iš Shannon proveržio rezultatų yra entropijos idėja, kuri leidžia kiekybiškai įvertinti informacijos kiekį, būdingą bet kokiam atsitiktiniam objektui, įskaitant atsitiktinius kintamuosius, modeliuojančius stebimus duomenis. Šenono rezultatai sukūrė informacijos teorijos ir šiuolaikinių telekomunikacijų pagrindus. Entropijos sąvoka taip pat pasirodė esanti pagrindinė kompiuterių mokslo ir mašininio mokymosi dalis.
Entropijos įvertinimo iššūkis
Deja, Šenono formulės naudojimas gali greitai tapti sudėtingas skaičiavimais. Tam reikia tiksliai apskaičiuoti duomenų tikimybę, o tai savo ruožtu reikalauja apskaičiuoti visus įmanomus būdus, kaip duomenys galėjo atsirasti pagal tikimybinį modelį. Jei duomenų generavimo procesas yra labai paprastas, pavyzdžiui, vienas monetos metimas arba pakrauto kauliuko metimas, tada entropijas apskaičiuoti yra paprasta. Tačiau apsvarstykite medicininių tyrimų problemą, kai teigiamas testo rezultatas yra šimtų sąveikaujančių kintamųjų, kurie visi nežinomi, rezultatas. Esant tik 10 nežinomiesiems duomenims jau yra 1,000 galimi paaiškinimai. Kai yra keli šimtai, žinomoje visatoje yra daugiau galimų paaiškinimų nei atomų, todėl entropijos skaičiavimas yra tiksliai neįveikiama problema.
MIT mokslininkai sukūrė naują metodą, leidžiantį įvertinti gerus aproksimaciją. daug informacijos kiekių, tokių kaip Šenono entropija, naudojant tikimybinę išvadą. Darbas pateikiamas straipsnyje, kurį AISTATS 2022 pristatė autoriai Feras Saad „ , MEng ’16, elektrotechnikos ir informatikos mokslų daktaro kandidatas; Marco-Cusumano Towner PhD 21; ir Vikashas Mansinghka 05, MEng 09, daktaras 09, Smegenų ir pažinimo mokslų katedros pagrindinis mokslininkas. Pagrindinė įžvalga yra, o ne visų paaiškinimų išvardijimas, o naudoti tikimybinių išvadų algoritmus, kad pirmiausia nuspręstumėte, kurie paaiškinimai yra tikėtini, o tada naudoti šiuos tikėtinus paaiškinimus aukštos kokybės entropijos įverčiams sudaryti. Straipsnyje parodyta, kad šis išvadomis pagrįstas metodas gali būti daug greitesnis ir tikslesnis nei ankstesni metodai.
Entropijos ir informacijos įvertinimas tikimybiniame modelyje yra iš esmės sunkus, nes dažnai reikia išspręsti aukštą matmenų integravimo problema. Daugelyje ankstesnių darbų buvo sukurti šių dydžių įverčiai tam tikriems ypatingiems atvejams, tačiau naujieji entropijos vertintojai per išvadą (EEVI) siūlo pirmąjį metodą, galintį pateikti aiškias viršutines ir apatines ribas plačiam informacijos teorinių dydžių rinkiniui. Viršutinė ir apatinė ribos reiškia, kad nors mes nežinome tikrosios entropijos, galime gauti skaičių, kuris yra mažesnis už ją, ir skaičius, kuris yra didesnis už ją.
„Viršutinė ir apatinės entropijos ribos, pateiktos mūsų metodu, yra ypač naudingos dėl trijų priežasčių“, – sako Saadas. „Pirma, skirtumas tarp viršutinės ir apatinės ribų suteikia kiekybinį pojūtį, kaip mes turime būti tikri dėl įvertinimų. Antra, naudodami daugiau skaičiavimo pastangų, skirtumą tarp dviejų ribų galime sumažinti iki nulio, o tai labai tiksliai „išspaudžia“ tikrąją vertę. Trečia, galime sudaryti šias ribas, kad sudarytume daugelio kitų dydžių įverčius, kurie parodo, kiek informatyvūs yra skirtingi modelio kintamieji.“
Pagrindinių problemų, susijusių su duomenimis pagrįstomis ekspertinėmis sistemomis, sprendimas
Saadas sako, kad jį labiausiai jaudina galimybė, kurią šis metodas suteikia tikimybinių modelių užklausoms tokiose srityse kaip aparatinės medicininės diagnozės. Jis sako, kad vienas iš EEVI metodo tikslų yra sugebėti išspręsti naujas užklausas, naudojant turtingus generatyvius modelius, tokius kaip kepenų ligos ir diabetas, kuriuos jau sukūrė medicinos srities ekspertai. Pavyzdžiui, tarkime, kad turime pacientą, kuriam būdingi tam tikri požymiai (ūgis, svoris, amžius ir kt.) ir pastebėti simptomai (pykinimas, kraujospūdis ir kt.). Atsižvelgiant į šiuos požymius ir simptomus, EEVI gali būti naudojamas siekiant nustatyti, kokius medicininius simptomų tyrimus gydytojas turėtų atlikti, kad gautų kuo daugiau informacijos apie tam tikros kepenų ligos (pvz., cirozės ar pirminio tulžies cholangito) nebuvimą arba buvimą.
Insulino diagnozei atlikti autoriai parodė, kaip naudoti metodą optimaliam gliukozės kiekio kraujyje matavimo laikui apskaičiuoti, kad būtų maksimaliai padidinta informacija apie paciento jautrumą insulinui, atsižvelgiant į ekspertų sukurtą tikimybinį insulino metabolizmo modelį ir paciento asmeninį maistą. ir vaistų grafiką. Kadangi įprastinis medicininis stebėjimas, pvz., gliukozės stebėjimas, nutolsta nuo gydytojų kabinetų ir prie nešiojamų prietaisų, yra dar daugiau galimybių pagerinti duomenų gavimą, jei duomenų vertę galima tiksliai įvertinti iš anksto.
)Vikash Mansinghka, vyresnysis šio dokumento autorius, priduria: „Mes parodėme, kad tikimybinių išvadų algoritmai gali būti naudojami norint įvertinti griežtas informacijos priemonių ribas, kurias dirbtinio intelekto inžinieriai dažnai laiko sunkiai apskaičiuojamais. Tai atveria daug naujų programų. Tai taip pat rodo, kad išvados gali būti labiau skaičiuojamos, nei manėme. Tai taip pat padeda paaiškinti, kaip žmogaus protas gali taip plačiai įvertinti informacijos, kuri yra pagrindinė kasdienio pažinimo sudedamoji dalis, vertę, ir padeda mums sukurti DI ekspertų sistemas, turinčias šias galimybes.“
Straipsnis „Entropijos ir informacijos vertintojai tikimybinių modelių išvadomis“ buvo pristatytas AISTATS 21.
