Rice universiteto kompiuterių mokslininkai Anshumali Shrivastava (dešinėje) ir Aditya Desai sukūrė ROBE Array, proveržį atminties technika, skirta gilaus mokymosi rekomendacijų modeliams – populiari dirbtinio intelekto forma, mokanti teikti pasiūlymus, kurie vartotojams atrodys aktualūs. Kreditas: Jeff Fitlow / Rice University Raiso universiteto kompiuterių mokslininkų sukurta proveržio mažos atminties technologija galėtų padėti mažoms įmonėms pasiekti vieną iš daugiausiai išteklių reikalaujančių dirbtinio intelekto formų – gilaus mokymosi rekomendacijų modelius (DLRM).
DLRM rekomendacijų sistemos yra populiari AI forma, kuri mokosi teikti pasiūlymus, kurie naudotojams bus svarbūs. Tačiau naudojant aukščiausios klasės mokymo modelius, kuriems reikia daugiau nei šimto terabaitų atminties ir superkompiuterio masto apdorojimo, jie buvo prieinami tik trumpam technologijų gigantų, turinčių gilias kišenes, sąrašui. „Rice“ „atsitiktinio poslinkio blokų įterpimo masyvas“ arba „ROBE Array“ galėtų tai pakeisti. Tai algoritminis metodas, skirtas sumažinti DLRM atminties struktūrų, vadinamų įterpimo lentelėmis, dydį, ir jis bus pristatytas šią savaitę Mašininio mokymosi ir sistemų konferencijoje (MLSys 2022. )) Santa Klaroje, Kalifornijoje, kur pelnė išskirtinį popierinį apdovanojimą.
„Naudojant tik megabaitų atminties ir vieną GPU, parodėme, kad galime suderinti mokymo laiką ir padvigubinti išvadų efektyvumą naudojant naujausius DLRM mokymo metodus, kuriems reikia 100 gigabaitų atminties ir keli procesoriai“, – sakė Anshumali Shrivastava, Rice kompiuterių mokslų docentas, pristatantis MLSys (MLSys) tyrimą. su ROBE Array bendrakūrėjais Aditya Desai, Rice absolvente Shrivastavos tyrimų grupėje, ir Li Chou, buvusiu Rice mokslininku, kuris dabar dirba West. Teksaso A&M universitetas.
„ROBE Array nustato naują pagrindą DLRM glaudinimui“, S Hrivastava sakė. „Ir tai leidžia DLRM pasiekti paprastiems vartotojams, kurie neturi prieigos prie aukščiausios klasės aparatinės įrangos ar inžinerinių žinių, kurių reikia norint išmokyti šimtų terabaitų dydžio modelius.“ DLRM sistemos yra mašininio mokymosi algoritmai, kurie mokosi iš duomenų. Pavyzdžiui, rekomendacijų sistema, siūlanti pirkėjams produktus, būtų apmokyta remiantis ankstesnių operacijų duomenimis, įskaitant naudotojų pateiktus paieškos terminus, kurie produktai jiems buvo pasiūlyti ir kuriuos įsigijo, jei tokių buvo. Vienas iš būdų pagerinti rekomendacijų tikslumą – rūšiuoti treniruočių duomenis į daugiau kategorijų. Pavyzdžiui, užuot įtraukusi visus šampūnus į vieną kategoriją, įmonė galėtų sukurti kategorijas vyriškiems, moteriškiems ir vaikiškiems šampūnams. Mokymo tikslais šie kategoriniai atvaizdai yra suskirstyti į atminties struktūras, vadinamas įterpimo lentelėmis, ir Desai teigė, kad tų lentelių dydis „sprogsta“ dėl padidėjusio skirstymo į kategorijas. „Įterpimo lentelės dabar sudaro daugiau nei 99.9% viso DLRM atminties ploto modeliai“, – sakė Desai. „Tai sukelia daugybę problemų. Pavyzdžiui, jie negali būti mokomi visiškai lygiagrečiai, nes modelis turi būti suskaidytas į dalis ir paskirstytas keliuose mokymo mazguose ir GPU. Ir po to, kai jie yra apmokyti ir pradėti gaminti , informacijos paieška įterptosiose lentelėse užima apie 80 % laiko, reikalingo pasiūlymui grąžinti vartotojui.”
Shrivastava sakė, kad ROBE Array panaikina poreikį saugoti įterpimo lenteles naudojant duomenų indeksavimo metodą, vadinamą maiša, kad sukurtų vienas išmoktų parametrų masyvas, kuris yra suglaudintas įterpimo lentelės vaizdas. Tada prieiga prie įterpimo informacijos iš masyvo gali būti atlikta „naudojant GPU palankią universalią maišą“, sakė jis.
Shrivastava, Desai ir Chou išbandė ROBE Array naudodami ieškomą DLRM MLPerf etaloną, kuris matuoja, kaip greitai sistema gali pritaikyti modelius iki tikslinės kokybės metrikos. Naudodami daugybę etaloninių duomenų rinkinių, jie nustatė, kad ROBE Array gali prilygti arba pranokti anksčiau paskelbtus DLRM metodus mokymo tikslumu net ir suglaudinus modelį trimis dydžiais. „Mūsų rezultatai aiškiai rodo, kad daugumą gilaus mokymosi etalonų galima visiškai panaikinti naudojant pagrindinius algoritmus“, – sakė Shrivastava. „Atsižvelgiant į pasaulinį lustų trūkumą, tai yra sveikintinos naujienos AI ateičiai.“
„ROBE Array“ nėra pirmasis Shrivastavos didelis purslų MLSys. MLSys 2020 jo grupė pristatė SLIDE – „sublinijinį giluminio mokymosi variklį“, kuris veikė su prekiniais procesoriais ir gali pranokti GPU pagrindu veikiančius treniruoklius. Jie stebėjo MLSys 530 ir parodė, kad vektorizavimo ir atminties optimizavimo greitintuvai gali padidinti SLIDE našumą, leisdami treniruoti gilius neuroninius tinklus iki 15 kartų greičiau nei geriausios GPU sistemos.
Citata: ROBE Array galėtų leiskite mažoms įmonėms pasiekti populiarią AI formą (2022, rugpjūčio mėn 530 ) gauta 29 rugpjūčio mėn. 2022 iš https://techxplore.com/news/2022–robe-array-small-companies-access.html
Šis dokumentas yra kurioms taikomos autorių teisės. Išskyrus bet kokius sąžiningus sandorius privačių studijų ar mokslinių tyrimų tikslais, jokia dalis negali būti atkuriama be raštiško leidimo. Turinys pateikiamas tik informaciniais tikslais.
