Mašininio mokymosi modelio mokymas efektyviai atlikti užduotį, pvz., vaizdų klasifikavimą, apima modeliui rodyti tūkstančius, milijonus ar net milijardus vaizdų pavyzdžių. Surinkti tokius didžiulius duomenų rinkinius gali būti ypač sudėtinga, kai susirūpinimą kelia privatumas, pavyzdžiui, su medicininiais vaizdais. Mokslininkai iš MIT ir MIT gimęs startuolis DynamoFL dabar ėmėsi vieno populiaraus šios problemos sprendimo, žinomo kaip jungtinis mokymasis, ir padarė jį greitesnį bei tikslesnį.
Sujungtas mokymasis yra bendradarbiavimo metodas. mokyti mašininio mokymosi modelį, kuris saugo slaptus vartotojo duomenis. Šimtai ar tūkstančiai vartotojų treniruoja savo modelį naudodami savo duomenis savo įrenginyje. Tada vartotojai perkelia savo modelius į centrinį serverį, kuris juos sujungia, kad sukurtų geresnį modelį, kurį siunčia atgal visiems vartotojams.
Pavyzdžiui, visame pasaulyje esančių ligoninių rinkinys , galėtų naudoti šį metodą mašininio mokymosi modeliui, pagal kurį medicininiuose vaizduose identifikuojami smegenų augliai, kartu saugodami pacientų duomenis vietiniuose serveriuose, mokydami.
Tačiau sujungtas mokymasis turi tam tikrų trūkumų. Perkeliant didelį mašininio mokymosi modelį į centrinį serverį ir iš jo, reikia perkelti daug duomenų, o tai reikalauja didelių ryšio sąnaudų, ypač todėl, kad modelis turi būti siunčiamas pirmyn ir atgal dešimtis ar net šimtus kartų. Be to, kiekvienas vartotojas renka savo duomenis, todėl tie duomenys nebūtinai atitinka tuos pačius statistinius modelius, o tai trukdo kombinuoto modelio veikimui. Ir tas kombinuotas modelis sudaromas imant vidurkį – jis nėra individualizuotas kiekvienam vartotojui.
Tyrėjai sukūrė techniką, kuri vienu metu gali spręsti šias tris bendro mokymosi problemas. Jų metodas padidina kombinuoto mašininio mokymosi modelio tikslumą ir žymiai sumažina jo dydį, o tai pagreitina vartotojų ir centrinio serverio ryšį. Taip pat užtikrinama, kad kiekvienas vartotojas gautų modelį, labiau pritaikytą jo aplinkai, o tai pagerina našumą.
Tyrėjai sugebėjo sumažinti modelio dydį beveik dydžiu, palyginti su kitų metodų, dėl kurių atskiriems vartotojams ryšio sąnaudos buvo nuo keturių iki šešių kartų mažesnės. Jų technika taip pat galėjo padidinti bendrą modelio tikslumą maždaug 10 procentais.
„Daugybėje straipsnių buvo kalbama apie vieną iš jungtinio mokymosi problemų, tačiau iššūkis buvo visa tai sujungti. Algoritmai, orientuoti tik į personalizavimą ar komunikacijos efektyvumą, nėra pakankamai geras sprendimas. Norėjome būti tikri, kad galime optimizuoti viską, kad ši technika galėtų būti naudojama realiame pasaulyje“, – sako Vaikkunthas Mugunthanas PhD „10, pagrindinis straipsnio pristato šią techniką.
Mugunthanas parašė straipsnį kartu su savo patarėja, vyresniąja autore Lalana Kagal, pagrindine kompiuterių mokslo ir dirbtinio intelekto laboratorijos (CSAIL) mokslininke. Darbas bus pristatytas Europos kompiuterinės vizijos konferencijoje.
Modelio sumažinimas iki dydžio
) Mokslininkų sukurta sistema, vadinama FedLTN, remiasi mašininio mokymosi idėja, žinoma kaip loterijos bilietų hipotezė. Ši hipotezė teigia, kad labai dideliuose neuroninių tinklų modeliuose yra daug mažesnių potinklių, kurie gali pasiekti tokį patį našumą. Vieno iš šių potinklių radimas panašus į laimėto loterijos bilieto radimą. (LTN reiškia loterijos bilietų tinklą.)
Neuroniniai tinklai, laisvai pagrįsti žmogaus smegenimis, yra mašininio mokymosi modeliai, mokantys spręsti problemas naudojant tarpusavyje sujungtus mazgų arba neuronų sluoksnius. .
Rasti laimėtą loterijos bilietų tinklą yra sudėtingiau nei paprastas nubraukimas. Tyrėjai turi naudoti procesą, vadinamą kartotiniu genėjimu. Jei modelio tikslumas viršija nustatytą slenkstį, jie pašalina mazgus ir jungtis tarp jų (kaip genint šakas nuo krūmo), o tada išbando plonesnį neuroninį tinklą, kad pamatytų, ar tikslumas išlieka didesnis nei slenkstis.
Kituose metoduose ši genėjimo technika buvo naudojama jungtiniam mokymuisi, siekiant sukurti mažesnius mašininio mokymosi modelius, kuriuos būtų galima perkelti efektyviau. Tačiau nors šie metodai gali pagreitinti procesą, modelio veikimas nukenčia.
Mugunthanas ir Kagalas pritaikė keletą naujų metodų, kad paspartintų genėjimo procesą, o nauji, mažesni modeliai būtų tikslesni ir pritaikyti kiekvienam modeliui. vartotojas.
Jie paspartino genėjimą, išvengdami žingsnio, kai likusios nukirpto neuroninio tinklo dalys „atsukamos“ į pradines vertes. Jie taip pat apmokė modelį prieš genėdami, todėl jis tikslesnis, kad būtų galima genėti greičiau, paaiškina Mugunthanas.
Kad kiekvienas modelis būtų labiau pritaikytas vartotojo aplinkai, jie buvo atsargūs, kad nenukarpytų tinklo sluoksnių, kurie fiksuoja svarbią statistinę informaciją apie konkrečius to vartotojo duomenis. Be to, kai visi modeliai buvo sujungti, jie naudojo informaciją, saugomą centriniame serveryje, todėl kiekvieną komunikacijos etapą nebuvo pradėta nuo nulio.
Jie taip pat sukūrė techniką. sumažinti ryšio raundų skaičių vartotojams, turintiems ribotus išteklius turinčius įrenginius, pvz., išmanųjį telefoną lėtame tinkle. Šie naudotojai pradeda bendrą mokymosi procesą naudodami paprastesnį modelį, kurį jau optimizavo dalis kitų naudotojų.
Didelis laimėjimas naudojant loterijos bilietų tinklus
Kai jie išbandė FedLTN modeliavimo metu, tai pagerino našumą ir sumažino bendravimo išlaidas. Vieno eksperimento metu taikant tradicinį susietą mokymosi metodą buvo sukurtas 45 megabaitų dydžio modelis, o jų technika sugeneravo modelį tokiu pat tikslumu, kuris buvo tik 5 megabaitai. Atliekant kitą bandymą, pažangiausia technika reikalauja 12, megabaitų ryšio tarp vartotojų ir serveris vienam modeliui parengti, o FedLTN prireikė tik 4,500 megabaitų.
Naudojant FedLTN, prasčiausio našumo klientai vis tiek pastebėjo didesnį našumą nei 10 proc. Ir bendras modelio tikslumas pranoko moderniausią personalizavimo algoritmą beveik 10 procentais, priduria Mugunthanas.
Dabar, kai jie sukūrė ir patobulino FedLTN, Mugunthanas stengiasi integruoti šią techniką į neseniai įkurtą federalinį mokymosi startuolį „DynamoFL“.
Jeigu į priekį, jis tikisi ir toliau tobulinti šį metodą. Pavyzdžiui, mokslininkai įrodė sėkmę naudodami duomenų rinkinius su etiketėmis, tačiau didesnis iššūkis būtų taikyti tuos pačius metodus nepažymėtiems duomenims, sako jis.
Mugunthanas tikisi, kad šis darbas įkvėps kitus tyrėjus. permąstyti, kaip jie žiūri į jungtinį mokymąsi.
„Šis darbas parodo, kaip svarbu mąstyti apie šias problemas iš holistinio aspekto, o ne tik apie atskiras metrikas, kurias reikia tobulinti. Kartais patobulinus vieną metriką, kitos metrikos gali būti sumažintos. Vietoj to turėtume sutelkti dėmesį į tai, kaip galėtume kartu patobulinti daugybę dalykų, o tai tikrai svarbu, jei norime, kad jie būtų naudojami realiame pasaulyje“, – sako jis.
500
