Viena iš priežasčių, kodėl per pastarąjį dešimtmetį išaugo gilus mokymasis, buvo programavimo kalbų, galinčių automatizuoti matematiką – koledžo lygio skaičiavimą – prieinamumas, reikalingas kiekvienam naujam modeliui išmokyti. Neuroniniai tinklai treniruojami derinant jų parametrus, siekiant maksimaliai padidinti rezultatą, kurį galima greitai apskaičiuoti mokymo duomenims. Lygtys, naudojamos parametrams reguliuoti kiekviename derinimo etape, buvo kruopščiai išvedamos ranka. Giluminio mokymosi platformose naudojamas metodas, vadinamas automatiniu diferencijavimu, kad automatiškai apskaičiuotų koregavimus. Tai leido tyrėjams greitai ištirti didžiulę modelių erdvę ir rasti tuos, kurie tikrai veikė, nežinant pagrindinės matematikos.
Bet kaip su tokiomis problemomis kaip klimato modeliavimas ar finansinis planavimas, kai pagrindiniai scenarijai iš esmės neaiškūs? Šioms problemoms spręsti vien skaičiavimo neužtenka – reikia ir tikimybių teorijos. „Taškas“ nebėra tik deterministinė parametrų funkcija. Vietoj to, jį apibrėžia stochastinis modelis, kuris atsitiktinai pasirenka nežinomus modelius. Jei bandysite naudoti giluminio mokymosi platformas šioms problemoms spręsti, jos gali lengvai pateikti neteisingą atsakymą. Norėdami išspręsti šią problemą, MIT mokslininkai sukūrė ADEV, kuris išplečia automatinį diferencijavimą, kad būtų galima valdyti modelius, kurie pasirenka atsitiktinius. Tai suteikia AI programavimo privalumų daug platesnei problemų klasei ir leidžia greitai eksperimentuoti su modeliais, kurie gali lemti neapibrėžtas situacijas.
Pagrindinis autorius ir MIT elektros inžinerijos ir informatikos doktorantas Alexas Lew sako, kad tikisi, kad žmonės bus mažiau atsargūs dėl tikimybinių modelių naudojimo dabar, kai yra įrankis, leidžiantis juos automatiškai atskirti. „Poreikis rankiniu būdu gauti mažos dispersijos, nešališkus gradiento įverčius gali lemti suvokimą, kad tikimybiniai modeliai yra sudėtingesni arba sudėtingesni dirbti nei su deterministiniais. Tačiau tikimybė yra neįtikėtinai naudingas pasaulio modeliavimo įrankis. Tikiuosi, kad suteikdama sistemą šiems vertintojams automatiškai kurti, ADEV padarys patrauklesnį eksperimentavimą su tikimybiniais modeliais, o tai gali sudaryti sąlygas naujiems AI ir ne tik atradimams bei pažangai.
Sasa Misailovic, Ilinojaus universiteto Urbana-Champaign docentas, kuris nedalyvavo šiame tyrime, priduria: „Kadangi tikimybinio programavimo paradigma atsiranda siekiant išspręsti įvairias mokslo ir inžinerijos problemas, kyla klausimų, kaip galime padaryti efektyvų. programinės įrangos diegimas, sukurtas remiantis tvirtais matematiniais principais. ADEV suteikia tokį pagrindą modulinėms ir kompozicinėms tikimybinėms išvadoms su išvestinėmis išvestinėmis priemonėmis. ADEV suteikia tikimybinio programavimo pranašumus – automatizuotą matematiką ir labiau keičiamo mastelio išvadų algoritmus – sprendžiant daug platesnį problemų spektrą, kai tikslas nėra tik numanyti, kas tikriausiai yra tiesa, bet nuspręsti, kokių veiksmų imtis toliau.
Be klimato modeliavimo ir finansinio modeliavimo, ADEV taip pat galėtų būti naudojamas operacijų tyrimams, pavyzdžiui, modeliuojant klientų eiles skambučių centruose, kad būtų sumažintas laukiamas laukimo laikas, imituojant laukimo procesus ir įvertinant rezultatų kokybę, arba derinant algoritmą. kurį robotas naudoja fiziniams objektams sučiupti. Bendraautorius Mathieu Huot sako, kad džiaugiasi matydamas, kad ADEV „naudojamas kaip projektavimo erdvė naujiems mažos dispersijos įverčiams, o tai yra pagrindinis tikimybinių skaičiavimų iššūkis“.
Tyrimo, apdovanoto SIGPLAN išskirtinio popieriaus apdovanojimu POPL 2023 metu, bendraautorius yra Vikashas Mansighka, vadovaujantis MIT tikimybių skaičiavimo projektui Smegenų ir pažinimo mokslų katedroje bei Kompiuterių mokslo ir dirbtinio intelekto laboratorijoje bei padedantis vadovauti MIT Quest. už žvalgybą, taip pat Mathieu Huot ir Sam Staton, abu Oksfordo universitete. Huot priduria: „ADEV suteikia vieningą pagrindą samprotavimui apie visur paplitusią nešališko gradientų įvertinimo problemą švariu, elegantišku ir kompoziciniu būdu.” Tyrimą rėmė Nacionalinis mokslo fondas, DARPA Machine Common Sense programa ir filantropinė Siegelio šeimos fondo dovana.
„Daugelis prieštaringiausių mūsų sprendimų – nuo klimato politikos iki mokesčių kodekso – apsiriboja sprendimų priėmimu neapibrėžtumo sąlygomis. ADEV leidžia lengviau eksperimentuoti su naujais būdais, kaip išspręsti šias problemas, automatizuojant kai kurias sudėtingiausias matematikas“, – sako Mansinghka. . „Bet kokiai problemai, kurią galime modeliuoti naudodami tikimybinę programą, turime naujus automatinius būdus, kaip suderinti parametrus, kad būtų galima sukurti norimus rezultatus ir išvengti rezultatų, kurių nenorime.
