Nuo pirmųjų dienų MIT ir net anksčiau Emma Liu 22, MNG 22 , Yo-whan „John” Kim „22, MNG „22 ir Clemente Ocejo „, MNG „22 žinojo, kad nori atlikti skaičiavimo tyrimus ir tyrinėti dirbtinį intelektą bei mašininį mokymąsi. „Nuo vidurinės mokyklos mokiausi giliai ir dalyvavau projektuose“, – sako Kimas, dalyvavęs MIT ir Harvardo universiteto Mokslinių tyrimų instituto (RSI) vasaros programoje ir toliau dirbęs su veiksmų atpažinimu vaizdo įrašuose. „Microsoft“ Kinect.
Kadangi Elektros inžinerijos ir informatikos katedros studentai, neseniai baigę inžinerijos magistro (MEng) baigiamųjų darbų programą, Liu, Kim ir Ocejo įgijo įgūdžių padėti vadovauti projektams, orientuotiems į programas. Dirbdami su MIT-IBM Watson AI Lab, jie patobulino teksto klasifikaciją su ribotais pažymėtais duomenimis ir sukūrė mašininio mokymosi modelius, kad būtų galima geriau prognozuoti ilgalaikes produktų pirkimo prognozes. Kim „tai buvo labai sklandus perėjimas ir… puiki galimybė man toliau dirbti gilaus mokymosi ir kompiuterinio matymo srityje MIT-IBM Watson AI laboratorijoje“
Modeliavimo vaizdo įrašas
Bendradarbiaudamas su mokslininkais iš akademinės bendruomenės ir pramonės, Kim sukūrė, apmokė ir išbandė gilaus mokymosi modelį, skirtą veiksmams atpažinti. visuose domenuose – šiuo atveju vaizdo įrašas. Jo komanda specialiai siekė naudoti sintetinius duomenis iš sugeneruotų vaizdo įrašų treniruotėms ir vykdė numatymo bei išvadų užduotis realiais duomenimis, kuriuos sudaro skirtingos veiksmų klasės. Jie norėjo pamatyti, kaip iš anksto mokomi sintetinių vaizdo įrašų modeliai, ypač žmonių ar humanoidinių veiksmų modeliavimas arba žaidimo variklio generuojami veiksmai, sukrauti su tikrais duomenimis: viešai prieinamais vaizdo įrašais, iškraptais iš interneto.
Šio tyrimo priežastis, pasak Kim, yra ta, kad tikri vaizdo įrašai gali turėti problemų, įskaitant šališkumą, autorių teises ir (arba) etinį ar asmeninį jautrumą, pvz., vaizdo įrašus, kuriuose užfiksuota, kaip automobilis partrenkia žmones, būtų sunku surinkti arba naudoti žmonių veidų, tikrų adresų ar valstybinių numerių be sutikimo. Kim vykdo eksperimentus su 2D, 2.5D ir 3D vaizdo modeliais, siekdamas sukurti konkrečiam domenui ar net didelį, bendrą, sintetinį vaizdo duomenų rinkinį, kuris galėtų būti naudojamas kai kuriems perdavimo domenams, kuriuose trūksta duomenų. Pavyzdžiui, taikant statybų pramonę, tai gali apimti veiksmų atpažinimą statybvietėje. „Nesitikėjau, kad sintetiniu būdu sukurti vaizdo įrašai atitiks tikrus vaizdo įrašus“, – sako jis. „Manau, kad ateityje tai atveria daug skirtingų vaidmenų [darbui]. jis nebūtų to daręs kitaip. „Nuostabu, kaip laboratorijos nariai mane paskatino: „Viskas gerai. Jūsų laukia visi eksperimentai ir smagioji dalis. Per daug nestresuokite.“ Būtent ši struktūra padėjo Kimui prisiimti atsakomybę už darbą. „Pabaigoje jie man suteikė tiek daug paramos ir nuostabių idėjų, kurios padėjo man įgyvendinti šį projektą.“
Duomenų ženklinimas )
Duomenų trūkumas taip pat buvo Emmos Liu darbo tema. „Svarbiausia problema yra ta, kad pasaulyje yra visi šie duomenys, o esant daugeliui mašininio mokymosi problemų, tuos duomenis reikia pažymėti, – sako Liu, – bet tada jūs turite visus šiuos nepažymėtus duomenis, kuriuos galite gauti. tikrai nenaudojame. ), kad pridėtumėte pseudo etiketes prie nepažymėtų duomenų, remiantis prognozėmis ir tikimybe, kurioms kategorijoms tinka kiekviena anksčiau nepažymėtų duomenų dalis. „Tada problema ta, kad buvo atliktas ankstesnis darbas, kuris parodė, kad ne visada galima pasitikėti tikimybėmis; Konkrečiai, neuroniniai tinklai dažnai būna pernelyg pasitikintys savimi“, – pabrėžia Liu.
Liu ir jos komanda tai sprendė įvertinę modelių tikslumą ir neapibrėžtumą bei juos iš naujo sukalibravo. pagerinti savo savarankiško mokymosi sistemą. Savarankiško mokymo ir kalibravimo žingsnis leido jai geriau pasitikėti prognozėmis. Pasak jos, šie pseudo pažymėti duomenys gali būti įtraukti į realių duomenų telkinį, išplečiant duomenų rinkinį; šis procesas gali būti kartojamas kartojimo serijomis.
Liu didžiausias išsinešimas buvo ne produktas, o procesas. „Aš daug sužinojau apie tai, kad esu nepriklausomas tyrinėtojas“, – sako ji. Būdama bakalauro studijas, Liu dirbo su IBM, kad sukurtų mašininio mokymosi metodus, skirtus pakartotinai panaudoti rinkoje jau esančius vaistus, ir patobulino savo gebėjimus priimti sprendimus. Bendradarbiaudama su akademiniais ir pramonės tyrėjais, kad įgytų įgūdžių užduoti svarbius klausimus, ieškoti ekspertų, analizuoti ir pristatyti atitinkamo turinio mokslinius straipsnius bei išbandyti idėjas, Liu ir jos MEng studentų grupė, dirbanti su MIT-IBM Watson AI Lab, pajuto, kad jie pasitikėjo savo žiniomis, laisve ir lankstumu diktuoti savo tyrimo kryptį. Atlikdamas šį pagrindinį vaidmenį, Liu sako: „Jaučiuosi taip, lyg turėčiau nuosavybės teisę į savo projektą“.
Paklausos prognozavimas
Po darbo MIT ir MIT-IBM Watson AI laboratorijoje Clemente’as Ocejo taip pat įgijo meistriškumo jausmą, sukūręs tvirtą dirbtinio intelekto technikų ir laiko serijų metodų pagrindą, pradedant nuo jo. MIT bakalauro studijų galimybių programa (UROP), kurioje jis susitiko su savo patarėju MEng. „Jūs tikrai turite būti aktyvūs priimdami sprendimus“, – sako Ocejo, „išreikšdami tai [savo pasirinkimus] kaip tyrėją ir leisdami žmonėms suprasti, kad būtent tai ir darote.“
)Ocejo, bendradarbiaudamas su laboratorija, naudojo savo žinias, susijusias su tradiciniais laiko serijų metodais, taikydamas gilų mokymąsi, kad geriau prognozuotų produktų paklausą medicinos srityje. Čia jis sukūrė, parašė ir apmokė transformatorių, specifinį mašininio mokymosi modelį, kuris paprastai naudojamas natūralios kalbos apdorojimui ir turi galimybę mokytis labai ilgai. -termininės priklausomybės. Ocejo ir jo komanda palygino tikslinius prognozės poreikius tarp mėnesių, mokydamiesi dinamiškų ryšių ir dėmesio svarbos tarp produktų pardavimo produktų šeimoje. Jie peržiūrėjo identifikatorių, susijusių su kaina ir suma, taip pat paskyros ypatybes apie tai, kas perka prekes ar paslaugas.
„Vienas produktas nebūtinai turi įtakos kito produkto prognozei numatymo momentu. Tai tik paveikia parametrus treniruočių metu, dėl kurių galima prognozuoti“, – sako Ocejo. „Vietoj to norėjome, kad jis turėtų šiek tiek daugiau tiesioginio poveikio, todėl įtraukėme šį sluoksnį, kuris sukuria ryšį ir atkreipia dėmesį į visus mūsų duomenų rinkinyje esančius produktus.“
Ilgainiui, per vienerių metų prognozę, MIT-IBM Watson AI Lab grupė sugebėjo pranokti dabartinį modelį; įspūdingiau, kad tai padarė trumpuoju laikotarpiu (arti fiskalinio ketvirčio). Ocejo tai sieja su savo tarpdisciplininės komandos dinamika. „Daugelis mano grupės žmonių nebūtinai buvo labai patyrę gilaus mokymosi srityje, tačiau jie turėjo daug patirties tiekimo grandinės valdymo, operacijų tyrimų ir optimizavimo srityse, o aš to nesuprantu. turi tiek patirties“, – sako Ocejo. „Jie teikė daug gerų aukšto lygio atsiliepimų apie tai, ką daryti toliau, ir… bei žinojo, ką pramonės sritis nori matyti arba ką nori tobulinti, todėl tai labai padėjo supaprastinti mano dėmesį. Šiam darbui duomenų antplūdis neturėjo įtakos Ocejo ir jo komandai, o jo struktūra ir pateikimas. Dažnai dideliems giluminio mokymosi modeliams reikia milijonų ir milijonų duomenų taškų, kad būtų galima padaryti reikšmingas išvadas; Tačiau MIT-IBM Watson AI Lab grupė parodė, kad rezultatai ir technikos patobulinimai gali priklausyti nuo programos. „Tai tik parodo, kad šie modeliai gali išmokti ką nors naudingo tinkamoje aplinkoje, naudojant tinkamą architektūrą, nereikalaujant perteklinio duomenų kiekio“, – sako Ocejo. „Ir tada, kai bus perteklinis duomenų kiekis, bus tik geriau.“
22
