Kurdami naujus algoritmus mokslininkai dažnai naudoja modeliavimą, nes idėjų išbandymas realiame pasaulyje gali būti brangus ir rizikingas. Tačiau kadangi modeliuojant neįmanoma užfiksuoti kiekvienos sudėtingos sistemos detalės, jie paprastai surenka nedidelį kiekį tikrų duomenų, kuriuos atkuria imituodami norimus tirti komponentus.
Šis metodas, žinomas kaip pėdsakais pagrįstas modeliavimas (mažos realių duomenų dalys vadinamos pėdsakais), kartais sukelia šališkus rezultatus. Tai reiškia, kad tyrėjai gali nesąmoningai pasirinkti algoritmą, kuris nėra geriausias, kurį jie įvertino, ir kuris realiais duomenimis veiks blogiau, nei prognozavo modeliavimas.
MIT mokslininkai sukūrė naują metodą, kuris pašalina šį šališkumo šaltinį atliekant pėdsakų modeliavimą. Įgalinus nešališkus pėdsakų modeliavimus, nauja technika galėtų padėti mokslininkams sukurti geresnius algoritmus įvairioms programoms, įskaitant vaizdo kokybės internete gerinimą ir duomenų apdorojimo sistemų našumo didinimą.
Tyrėjų mašininio mokymosi algoritmas remiasi priežastingumo principais, kad sužinotų, kaip duomenų pėdsakus paveikė sistemos elgsena. Tokiu būdu modeliavimo metu jie gali atkurti teisingą, nešališką pėdsakų versiją.
Lyginant su anksčiau sukurtu pėdsakų valdomu treniruokliu, tyrėjų modeliavimo metodas teisingai numatė, kuris naujai sukurtas algoritmas būtų geriausias vaizdo transliacijai, ty tas, kuris lėmė mažesnį buferį ir geresnę vaizdo kokybę. Esami treniruokliai, kurie neatsižvelgia į šališkumą, būtų nukreipę tyrėjus į blogesnio našumo algoritmą.
„Svarbu ne tik duomenys. Taip pat svarbi istorija, kaip generuojami ir renkami duomenys. Jei norite atsakyti į prieštaringą klausimą, turite žinoti pagrindinę duomenų generavimo istoriją, kad galėtumėte įsikišti tik į tuos dalykus, kuriuos tikrai norite imituoti“, – sako Arashas Nasr-Esfahany, elektros inžinerijos ir kompiuterių mokslų (EECS) absolventas. ir vienas iš šios naujos technikos straipsnio autorių.
Straipsnyje prie jo prisijungė vienas iš pagrindinių autorių ir kolegos EECS absolventai Abdullah Alomar ir Pouya Hamadanian; neseniai absolventas Anish Agarwal PhD ’21; ir vyresnieji autoriai Mohammad Alizadeh, elektros inžinerijos ir kompiuterių mokslo docentas; ir Devavrat Shah, Andrew ir Erna Viterbi, EECS profesorius ir Duomenų, sistemų ir visuomenės instituto bei Informacijos ir sprendimų sistemų laboratorijos narys. Tyrimas neseniai buvo pristatytas USENIX tinklinių sistemų projektavimo ir diegimo simpoziume.
Įdomūs modeliai
MIT mokslininkai tyrinėjo pėdsakų pagrįstą modeliavimą vaizdo transliacijos programų kontekste.
Vaizdo įrašų srautinio perdavimo metu adaptyvus bitų perdavimo spartos algoritmas nuolat nusprendžia vaizdo kokybę arba pralaidumą, kurį reikia perkelti į įrenginį, remdamasis vartotojo pralaidumo duomenimis realiuoju laiku. Siekdami patikrinti, kaip skirtingi prisitaikantys bitų srauto algoritmai veikia tinklo našumą, tyrėjai vaizdo įrašo srauto metu gali rinkti tikrus duomenis iš vartotojų, kad būtų galima imituoti pėdsakus.
Jie naudoja šiuos pėdsakus, kad imituotų, kas būtų nutikę tinklo našumui, jei platforma tomis pačiomis pagrindinėmis sąlygomis naudotų kitą adaptyvų bitų perdavimo spartos algoritmą.
Tyrėjai tradiciškai manė, kad pėdsakų duomenys yra egzogeniniai, o tai reiškia, kad jiems įtakos neturi veiksniai, kurie keičiasi modeliavimo metu. Jie manytų, kad tuo laikotarpiu, kai rinko tinklo našumo duomenis, bitų perdavimo spartos pritaikymo algoritmo pasirinkimai neturėjo įtakos tiems duomenims.
Tačiau tai dažnai yra klaidinga prielaida, dėl kurios atsiranda tendencijų dėl naujų algoritmų elgesio, todėl modeliavimas negalioja, aiškina Alizadeh.
„Mes pripažinome ir kiti pripažino, kad toks modeliavimo būdas gali sukelti klaidų. Tačiau nemanau, kad žmonės būtinai žinojo, kokios reikšmingos tos klaidos gali būti“, – sako jis.
Norėdami rasti sprendimą, Alizadehas ir jo bendradarbiai suformulavo problemą kaip priežastinę išvadų problemą. Norint surinkti nešališką pėdsaką, reikia suprasti įvairias priežastis, turinčias įtakos stebimiems duomenims. Kai kurios priežastys yra būdingos sistemai, o kitos priklauso nuo atliekamų veiksmų.
Vaizdo transliacijos pavyzdyje tinklo našumas yra įtakos turi bitų perdavimo spartos pritaikymo algoritmo pasirinkimai, bet taip pat turi įtakos vidiniai elementai, pvz., tinklo talpa.
„Mūsų užduotis yra atskirti šiuos du efektus, pabandyti suprasti, kokie mūsų matomo elgesio aspektai yra būdingi sistemai ir kiek to, ką mes stebime, yra pagrįsta veiksmais, kurių buvo imtasi. Jei galime atskirti šiuos du efektus, galime atlikti nešališką modeliavimą“, – sako jis.
Mokymasis iš duomenų
Tačiau mokslininkai dažnai negali tiesiogiai stebėti esminių savybių. Čia atsiranda naujas įrankis, vadinamas CausalSim. Algoritmas gali sužinoti pagrindines sistemos charakteristikas naudodamas tik sekimo duomenis.
„CausalSim“ paima pėdsakų duomenis, kurie buvo surinkti atliekant atsitiktinių imčių kontrolinį tyrimą, ir įvertina pagrindines funkcijas, kurios sukūrė tuos duomenis. Modelis tyrėjams nurodo, kaip naujas algoritmas pakeis rezultatą, esant tokioms pačioms pagrindinėms sąlygoms, kurias patyrė vartotojas.
Naudojant įprastą pėdsakų valdomą treniruoklį, šališkumas gali paskatinti tyrėją pasirinkti blogesnio našumo algoritmą, net jei modeliavimas rodo, kad jis turėtų būti geresnis. „CausalSim“ padeda tyrėjams pasirinkti geriausią išbandytą algoritmą.
MIT mokslininkai tai pastebėjo praktiškai. Kai jie naudojo CausalSim kurdami patobulintą bitų perdavimo spartos pritaikymo algoritmą, tai paskatino juos pasirinkti naują variantą, kurio užstrigimo dažnis buvo beveik 1,4 karto mažesnis nei gerai priimto konkuruojančio algoritmo, o vaizdo kokybė buvo tokia pati. Sustojimo rodiklis – tai laikas, kurį naudotojas praleido darydamas vaizdo įrašo buferį.
Priešingai, ekspertų sukurtas pėdsakų treniruoklis numatė priešingai. Ji nurodė, kad šis naujas variantas turėtų sukelti beveik 1,3 karto didesnį užstrigimą. Tyrėjai išbandė realaus vaizdo transliavimo algoritmą ir patvirtino, kad CausalSim buvo teisingas.
„Naujojo varianto nauda buvo labai artima CausalSim prognozei, o ekspertų simuliatorius buvo toli. Tai tikrai įdomu, nes šis ekspertų sukurtas treniruoklis buvo naudojamas tyrimuose pastarąjį dešimtmetį. Jei „CausalSim“ gali būti taip aiškiai geresnis už šį, kas žino, ką galime su juo padaryti? sako Hamadanianas.
Per 10 mėnesių trukusį eksperimentą „CausalSim“ nuosekliai pagerino modeliavimo tikslumą, todėl algoritmai padarė maždaug perpus mažiau klaidų nei tie, kurie buvo sukurti naudojant pradinius metodus.
Ateityje mokslininkai nori pritaikyti CausalSim tais atvejais, kai atsitiktinių imčių kontrolinių tyrimų duomenų nėra arba kai ypač sunku atkurti priežastinę sistemos dinamiką. Jie taip pat nori ištirti, kaip kurti ir stebėti sistemas, kad jos būtų labiau pritaikytos priežastinei analizei.
