Nuo pat pirmųjų studijų MIT dienų ir dar anksčiau Emma Liu „22, MNG „22, Yo-whan „John” Kim „22, MNG „22 ir Clemente Ocejo „21, MNG „22 žinojo, kad nori atlikti kompiuterinius tyrimus ir tyrinėti dirbtinį intelektą bei mašininį mokymąsi. „Nuo vidurinės mokyklos laikų domėjausi giliuoju mokymusi ir dalyvavau projektuose”, – sako Kimas, kuris dalyvavo MIT ir Harvardo universiteto Mokslinių tyrimų instituto (Research Science Institute, RSI) vasaros programoje ir toliau dirbo prie veiksmų atpažinimo vaizdo įrašuose naudojant „Microsoft” „Kinect”
Kaip Elektros inžinerijos ir informatikos katedros studentai, neseniai baigę inžinerijos magistro (MEng) baigiamųjų darbų programą, Liu, Kimas ir Ocejo įgijo įgūdžių, padedančių vadovauti į taikymą orientuotiems projektams. Bendradarbiaudami su MIT-IBM Watson dirbtinio intelekto laboratorija, jie patobulino teksto klasifikavimą, naudodami ribotus pažymėtus duomenis, ir sukūrė mašininio mokymosi modelius, skirtus geresniam ilgalaikiam produktų pirkimo prognozavimui. Kim teigimu, „tai buvo labai sklandus perėjimas ir … puiki galimybė toliau dirbti gilaus mokymosi ir kompiuterinės regos srityje „MIT-IBM Watson AI Lab”.”
Vaizdo įrašų modeliavimas
Bendradarbiaudama su mokslininkais iš akademinės bendruomenės ir pramonės, Kim sukūrė, apmoko ir išbandė gilaus mokymosi modelį, skirtą veiksmams atpažinti įvairiose srityse – šiuo atveju vaizdo įrašams. Jo komanda konkrečiai orientavosi į sintetinių duomenų iš sukurtų vaizdo įrašų naudojimą mokymui ir vykdė prognozavimo ir išvadų užduotis realiuose duomenyse, kuriuos sudaro skirtingos veiksmų klasės. Jie norėjo patikrinti, kaip išankstinio mokymo modeliai, naudojami sintetiniuose vaizdo įrašuose, ypač simuliacijose arba žaidimų variklių sukurtuose žmonių ar humanoidų veiksmuose, dera su realiais duomenimis: viešai prieinamais vaizdo įrašais, surinktais iš interneto
Šių tyrimų priežastis, pasak Kimo, yra ta, kad su realiais vaizdo įrašais gali kilti problemų, įskaitant atstovavimo šališkumą, autorių teises ir (arba) etinį ar asmeninį jautrumą, pavyzdžiui, būtų sunku surinkti vaizdo įrašus, kuriuose automobilis partrenkia žmones, arba be sutikimo naudoti žmonių veidus, tikrus adresus ar automobilių numerius. Kim atlieka eksperimentus su 2D, 2,5D ir 3D vaizdo modeliais, siekdama sukurti konkrečiai sričiai pritaikytą ar net didelį bendrą sintetinių vaizdo duomenų rinkinį, kurį būtų galima naudoti kai kurioms perdavimo sritims, kuriose trūksta duomenų. Pavyzdžiui, taikant statybų pramonėje, tai galėtų apimti jo veiksmų atpažinimo vykdymą statybų aikštelėje. „Nesitikėjau, kad sintetiniu būdu sukurtų vaizdo įrašų rezultatai bus tokie pat, kaip tikrų vaizdo įrašų, – sako jis. „Manau, kad tai atveria daugybę įvairių vaidmenų [šiam darbui] ateityje.”
Nepaisant to, kad projekto pradžia, renkant ir generuojant duomenis bei paleidžiant daugybę modelių, buvo nelengva, Kimas sako, kad nebūtų daręs to kitaip. „Buvo nuostabu, kaip laboratorijos nariai mane padrąsino: „Viskas gerai. Tavęs laukia visi eksperimentai ir linksmoji dalis. Per daug nestresuok” Būtent ši struktūra padėjo Kimui prisiimti atsakomybę už darbą. „Pabaigoje jie man suteikė tiek daug paramos ir nuostabių idėjų, kurios padėjo įgyvendinti šį projektą.”
Duomenų žymėjimas
Duomenų trūkumas taip pat buvo Emmos Liu darbo tema. „Pagrindinė problema yra ta, kad pasaulyje yra daugybė duomenų, o sprendžiant daugelį mašininio mokymosi problemų reikia, kad tie duomenys būtų paženklinti, – sako Liu, – tačiau yra ir daugybė nepažymėtų duomenų, kurių iš tikrųjų nepanaudojate.”
Liu, vadovaujama savo MIT ir IBM grupės, dirbo, kad šiuos duomenis panaudotų, mokydama teksto klasifikavimo pusiau prižiūrimus modelius (ir derindama jų aspektus), kad neženklintiems duomenims pridėtų pseudoženklus, remdamasi prognozėmis ir tikimybėmis, kokioms kategorijoms priklauso kiekvienas anksčiau neženklintų duomenų fragmentas. „Problema yra ta, kad ankstesniuose darbuose buvo įrodyta, jog tikimybėmis ne visada galima pasitikėti; konkrečiai, buvo įrodyta, kad neuroniniai tinklai daugelį kartų yra pernelyg patikimi”, – nurodo Liu
Liu ir jos komanda sprendė šią problemą įvertindami modelių tikslumą ir neapibrėžtumą ir iš naujo juos kalibruodami, kad patobulintų savo savaiminio mokymo sistemą. Savęs mokymo ir kalibravimo etapas leido jai labiau pasitikėti prognozėmis. Pasak jos, šiuos pseudoženklintus duomenis tada buvo galima pridėti prie realių duomenų fondo, taip išplečiant duomenų rinkinį; šį procesą buvo galima pakartoti per keletą iteracijų
Liu teigimu, didžiausia jos įgyta patirtis buvo ne produktas, o procesas. „Daug išmokau apie tai, kaip būti nepriklausoma tyrėja, – sako ji. Būdama bakalauro studijų metais Liu dirbo su IBM, kurdama mašininio mokymosi metodus, skirtus jau rinkoje esantiems vaistams pakartotinai panaudoti, ir tobulino savo gebėjimą priimti sprendimus. Bendradarbiaudama su akademiniais ir pramonės tyrėjais, įgijusi įgūdžių užduoti aštrius klausimus, ieškoti ekspertų, analizuoti ir pateikti mokslinį straipsnį, kuriame būtų galima rasti aktualaus turinio, ir išbandyti idėjas, Liu ir jos magistrantūros studentų grupė, dirbanti su MIT-IBM Watson AI laboratorija, pajuto, kad gali pasitikėti savo žiniomis, laisve ir lankstumu diktuoti savo tyrimų kryptį. Imdamasi šio pagrindinio vaidmens, Liu sako: „Jaučiuosi tarsi būčiau atsakinga už savo projektą.”
Paklausos prognozavimas
Po studijų MIT ir darbo MIT-IBM Watson AI laboratorijoje Klemensas Očejo (Clemente Ocejo) taip pat išvyko su meistriškumo jausmu, nes nuo MIT bakalauro mokslinių tyrimų galimybių programos (UROP), kurioje susipažino su savo MEng konsultantu, įgijo tvirtus dirbtinio intelekto metodų ir laiko eilučių metodų pagrindus. „Priimant sprendimus iš tiesų reikia būti aktyviam, – sako Ocejo, – išsakyti tai [savo pasirinkimus] kaip tyrėjui ir leisti žmonėms žinoti, kad būtent tai ir darai.”
Ocejo pasinaudojo savo tradicinių laiko eilučių metodų patirtimi bendradarbiaudamas su laboratorija, taikydamas gilųjį mokymąsi, kad geriau numatytų produktų paklausos prognozę medicinos srityje. Čia jis suprojektavo, parašė ir apmoko transformatorių, specifinį mašininio mokymosi modelį, kuris paprastai naudojamas natūralios kalbos apdorojimui ir turi galimybę išmokti labai ilgalaikių priklausomybių. Ocejo ir jo komanda palygino tikslinių prognozių poreikius skirtingais mėnesiais, išmoko dinaminių ryšių ir dėmesio svorių tarp produktų pardavimų produktų šeimoje. Jie nagrinėjo identifikatoriaus požymius, susijusius su kaina ir kiekiu, taip pat paskyros požymius apie tai, kas perka prekes ar paslaugas.
„Vienas produktas nebūtinai turi įtakos kitam produktui prognozės metu padarytai prognozei. Jis tik daro įtaką mokymo metu nustatytiems parametrams, kurie lemia tą prognozę”, – sako Ocejo. „Vietoj to mes norėjome, kad tai turėtų šiek tiek daugiau tiesioginio poveikio, todėl pridėjome šį sluoksnį, kuris sukuria šį ryšį ir mokosi dėmesio tarp visų produktų mūsų duomenų rinkinyje.”
Ilgalaikėje perspektyvoje, per vienerių metų prognozavimo laikotarpį, MIT-IBM Watson AI Lab grupė sugebėjo pranokti dabartinį modelį; dar įspūdingiau, kad tai pavyko padaryti trumpuoju laikotarpiu (arti fiskalinio ketvirčio). Ocejo tai aiškina savo tarpdisciplininės komandos dinamika. „Daugelis mano grupės žmonių nebūtinai buvo labai patyrę gilaus mokymosi aspektu, tačiau jie turėjo daug patirties tiekimo grandinės valdymo, operacijų tyrimų ir optimizavimo srityje, o tai yra tai, ko aš neturiu tiek daug patirties”, – sako Ocejo. „Jie teikė daug gerų aukšto lygio atsiliepimų apie tai, ką reikėtų daryti toliau, ir … žinojo, ką pramonės sritis norėtų matyti arba ką norėtų patobulinti, todėl tai labai padėjo man sutelkti dėmesį.”
Šiame darbe Ocejo ir jo komandai svarbiausia buvo ne duomenų srautas, o jų struktūra ir pateikimas. Dažnai dideliems gilaus mokymosi modeliams reikia milijonų ir milijonų duomenų taškų, kad būtų galima padaryti prasmingas išvadas; tačiau MIT-IBM Watson AI laboratorijos grupė pademonstravo, kad rezultatai ir technikos patobulinimai gali priklausyti nuo konkretaus taikymo. „Tai tik parodo, kad šie modeliai gali išmokti kažką naudingo, tinkamoje aplinkoje, su tinkama architektūra, nereikalaujant perteklinio duomenų kiekio”, – sako Ocejo. „O tada, turint perteklinį duomenų kiekį, jie tik gerės.”
