Kairėje: optimalus ir neoptimalus domenų perkėlimas. Dešinėje: domeno perkėlimo su nauju algoritmu pavyzdys. Vaizdas tyrėjų sutikimu. Kreditas: Skolkovo mokslo ir technologijos institutas Mokslininkai iš Skoltech ir Dirbtinio intelekto tyrimų instituto (AIRI) sukūrė naują optimalaus duomenų perdavimo tarp domenų, naudojant neuroninius tinklus, algoritmą. Skirtingai nuo daugelio panašių metodų, naujajam metodui nereikia suporuotų mokymo duomenų rinkinių, tokių kaip įvesties-išvesties pavyzdžiai, ir gali būti mokomi naudojant nepriklausomus duomenų rinkinius iš įvesties ir išvesties domenų. Algoritmas duoda geriau interpretuojamą rezultatą nei kiti esami metodai ir remiasi tvirtu teoriniu pagrindu.
Šiuolaikiniai mašininio mokymosi modeliai, sukurti tokioms programoms kaip veido ar kalbos atpažinimas ir medicininių vaizdų analizė, reikalauja didelių mokymo duomenų rinkinių, kuriuos sunku gauti. Būtent dėl šios priežasties mokslininkai ir inžinieriai turi sukurti sintetinius duomenis, atitinkančius turimus realybėje. Užduotį labai palengvina generatyvūs modeliai, kurie pastaruoju metu padarė didžiulę pažangą teksto ir vaizdo kokybės srityje.
Generatyvieji modeliai padeda sintetinti duomenis iš kitų duomenų, kitaip tariant, perkelti vieną domeną į kitą. Pavyzdžiui, neuroninis tinklas gali sukurti skaitmeninę nuotrauką iš žmogaus nupiešto eskizo arba patobulinti smulkias detales palydoviniame vaizde. Šioms užduotims atlikti paprastai reikalingi suporuoti mokymo pavyzdžiai ir įvesties-išvesties vaizdų rinkiniai, kuriuos neuroninis tinklas išmoksta apibendrinti ir išplėsti iki naujų gaunamų vaizdų, o tai, be kita ko, padeda susidoroti su keliais identiškais skirtingos kokybės vaizdais.
Kadangi suporuoti duomenys paprastai yra labai brangūs arba sunkiai gaunami, mokslininkai turi apsieiti su nepriklausomais duomenų rinkiniais, todėl pasiekti gerą rezultatą yra sunkiau.
„Standartiniai metodai kuriant generatyvius domeno perdavimo modelius iš esmės yra euristiniai ir priklauso nuo kelių hiperparametrų, kurie turi įtakos mokymo rezultatams ir nėra lengvai pasirenkami. Be to, tokie metodai neturi matematiškai griežtos sistemos. Todėl modelių mokymas yra nestabilus procesas, Nenuostabu, kad griežtų teorinių išvadų apie mokymo rezultatus taip pat sunku padaryti“, – komentavo profesorius Jevgenijus Burnajevas, Skoltech AI direktorius ir AIRI vadovaujanti tyrimų grupė.
Savo tyrime komanda dar kartą peržiūrėjo sovietinio matematiko ir ekonomisto Leonido Kantorovičiaus darbus ir panaudojo jo idėjas apie optimalų krovinių gabenimą (optimalaus transporto teorija), kad sukurtų naują optimalaus duomenų perdavimo tarp domenų planavimo algoritmą. Naujasis algoritmas, vadinamas Neural Optimal Transport, naudoja gilius neuroninius tinklus ir nepriklausomus duomenų rinkinius.
Išbandžius nesuporuotą domeno perdavimą, algoritmas pranoksta esamus metodus keliose užduotyse, įskaitant vaizdo stilių. Be to, skirtingai nuo kitų metodų, jai reikia mažiau hiperparametrų, kuriuos paprastai sunku suderinti, gaunamas labiau interpretuojamas rezultatas ir jis remiasi tvirtu matematiniu pagrindu.
„Optimalaus transportavimo skaitmeniniai metodai jau keletą metų plačiai naudojami generuojamųjų neuronų tinklų kūrimui. Mūsų žvalgomieji tyrimai parodė, kad šie modeliai apskaičiuoja optimalų transportą su labai didele paklaida. Pavyko ne tik rasti klaidos priežastis, bet ir atlikti analizę ir sukurti iš esmės naujus veiksmingus būdus, kaip sukurti generatyvius nesuporuoto domenų perdavimo modelius, pagrįstus optimalaus transportavimo teorija“, – sakė Aleksandras Korotinas, AIRI mokslininkas ir Skoltech tyrimų grupės vadovas.
Tyrimas paskelbtas arXiv išankstinio spausdinimo serveris.
Daugiau informacijos: Aleksandras Korotinas ir kt., Neural Optimal Transport, arXiv (2022). DOI: 10.48550/arxiv.2201.12220
Žurnalo informacija: arXiv
Citata: mokslininkai pasiekia optimalų tarpdomeninį duomenų perdavimą naudodami neuroninius tinklus (2023 m., balandžio 7 d.), gautą 2023 m. balandžio 8 d. iš https://techxplore.com/news/2023-04-scientists-optimal-interdomain-neural-networks.html
Šis dokumentas yra saugomas autorių teisių. Išskyrus bet kokius sąžiningus sandorius privačių studijų ar mokslinių tyrimų tikslais, jokia dalis negali būti atkuriama be raštiško leidimo. Turinys pateikiamas tik informaciniais tikslais.
