„Buddy Compiler“ sistema, kuri yra vykdoma, apims lyginamąją sistemą, konkrečiai domenui būdingą architektūros sistemą, bendro projektavimo modulį ir kompiliatoriaus kaip paslaugos platformą, be kompiliatoriaus sistemos. Kreditas: Hongbin Zhang ir kt. Bendras projektavimas, ty programinės ir techninės įrangos projektavimas vienu metu, yra vienas iš būdų, kaip patenkinti šiuolaikinių dirbtinio intelekto programų skaičiavimo galios poreikius. Kompiliatoriai, kurie verčia instrukcijas iš vieno vaizdavimo į kitą, yra pagrindinė galvosūkio dalis. Grupė Kinijos mokslų akademijos tyrėjų apibendrino esamas kompiliatorių technologijas gilaus mokymosi bendrame projekte ir pasiūlė savo sistemą „Buddy Compiler“.
Grupės apžvalginis dokumentas buvo paskelbtas žurnale Išmanusis kompiuteris.
Nors kiti apibendrino optimizavimą, aparatinės įrangos architektūras, bendro projektavimo metodus ir kompiliavimo metodus, niekas neaptarė gilaus mokymosi sistemų bendro projektavimo kompiliavimo technologijų požiūriu. Tyrėjai tyrinėjo gilųjį mokymąsi šiuo požiūriu, nes mano, kad „kompiliavimo technologijos gali suteikti daugiau galimybių bendram projektavimui ir taip gali geriau pasiekti gilaus mokymosi sistemų našumo ir galios reikalavimus“.
Apžvalga apima penkias temas:
- Gilaus mokymosi ir bendro dizaino istorija
- Gilus mokymasis ir bendras dizainas dabar
- Kompiliavimo technologijos, skirtos giliam mokymuisi bendram projektavimui
- Dabartinės problemos ir ateities tendencijos
- Bičiulių kompiliatorius
Gilaus mokymosi ir bendro dizaino istorija
Nuo šeštojo dešimtmečio neuroniniai tinklai išgyveno daugybę pakilimų ir nuosmukių, todėl šiandien sparčiai auga gilaus mokymosi programos ir tyrimai. Bendras projektavimas prasidėjo 1990-aisiais ir nuo tada buvo pritaikytas įvairiose srityse, pereinant nuo rankinio darbo iki kompiuterinio projektavimo ir galiausiai tampantis sudėtingu procesu, apimančiu modeliavimą, modeliavimą, optimizavimą, sintezę ir testavimą.
Nuo 2020 m. tinklo modelis, vadinamas transformatoriumi, sulaukė didžiulės sėkmės: „ChatGPT“ yra pokalbių robotas, sukurtas naudojant „generatyvų iš anksto paruoštą transformatorių“. Dabartinės AI programos, tokios kaip „ChatGPT“, pasiekia naują našumo kliūtį, dėl kurios vėl reikės bendro aparatinės ir programinės įrangos projektavimo.
Gilus mokymasis ir bendras dizainas dabar
Gilaus mokymosi proveržis atsiranda dėl daugybės sluoksnių ir daugybės parametrų naudojimo, o tai žymiai padidina treniruočių ir išvadų skaičiavimo poreikį. Dėl to pasikliaujant vien programinės įrangos lygio optimizavimu tampa sudėtinga pasiekti pagrįstą vykdymo laiką. Siekdami išspręsti šią problemą, tiek pramonė, tiek akademinė bendruomenė kreipėsi į konkrečiam domenui pritaikytus aparatinės įrangos sprendimus, siekdami pasiekti reikiamą našumą bendradarbiaujant aparatinei ir programinei įrangai, vadinamam bendru techninės ir programinės įrangos projektavimu.
Neseniai atsirado visapusiška sistema, apimanti giluminio mokymosi sistemas, didelio našumo bibliotekas, konkrečiam domenui skirtus kompiliatorius, programavimo modelius, aparatūros įrankių srautus ir bendro projektavimo metodus. Šie komponentai kartu padeda didinti giluminio mokymosi sistemų efektyvumą ir efektyvumą.
Kompiliavimo technologijos, skirtos giliam mokymuisi bendram projektavimui
Yra dvi populiarios ekosistemos, naudojamos kuriant giliojo mokymosi kompiliatorius: tensorinė virtualioji mašina, žinoma kaip TVM, ir daugiapakopis tarpinis atvaizdavimas, žinomas kaip MLIR. Šiose ekosistemose taikomos skirtingos strategijos: TVM veikia kaip visapusis gilaus mokymosi kompiliatorius, o MLIR veikia kaip kompiliatoriaus infrastruktūra. Tuo tarpu aparatinės įrangos architektūrų, pritaikytų giliam mokymosi krūviui, srityje yra du pagrindiniai tipai: srautinio perdavimo architektūra ir skaičiavimo variklio architektūra.
Su šiomis architektūromis susiję aparatūros projektavimo įrankių srautai taip pat apima naujus kompiliavimo būdus, kad paskatintų pažangą ir naujoves. Gilaus mokymosi kompiliatorių ir aparatinės įrangos kompiliavimo metodų derinys suteikia naujų galimybių giliai mokytis bendram projektavimui.
Dabartinės problemos ir ateities tendencijos
Kadangi našumo reikalavimai auga per greitai, kad procesoriaus plėtra neatsiliktų, efektyvus bendras projektavimas yra labai svarbus. Bendro projektavimo problema yra ta, kad nėra vieno būdo, kaip tai padaryti, nėra vieningos bendro projektavimo sistemos ar abstrakcijos. Jei reikia kelių abstrakcijos sluoksnių, efektyvumas mažėja. Kompiliatorių pritaikymas konkrečioms sritims reikalauja daug darbo. Formuojasi vienijančios ekosistemos, tačiau pagrindinės susiskaidymo priežastys išlieka. Šių problemų sprendimas būtų modulinė išplečiama vienijanti sistema.
Bičiulių kompiliatorius
„Buddy Compiler“ projekto dalyviai yra „įsipareigoti sukurti keičiamo dydžio ir lanksčią techninės ir programinės įrangos bendro projektavimo ekosistemą“. Ekosistemos moduliai apims kompiliatoriaus sistemą, kompiliatoriaus kaip paslaugos platformą, etaloninę sistemą, konkrečiam domenui būdingą architektūros sistemą ir bendro projektavimo modulį. Pastarieji du moduliai vis dar vykdomi.
Autoriai prognozuoja tolesnę kompiliavimo ekosistemų plėtrą, kuri padės suvienodinti atliekamą darbą sparčiai besivystančioje ir šiek tiek fragmentuotoje giluminio mokymosi srityje.
Daugiau informacijos: Hongbin Zhang ir kt., Kompiliatoriaus technologijos gilaus mokymosi bendrame projekte: apklausa, Išmanusis kompiuteris (2023). DOI: 10.34133/computing.0040
Teikia išmanioji kompiuterija
Citata: Kaip kompiuteriai ir dirbtinis intelektas vystosi kartu (2023 m. birželio 30 d.), gauta 2023 m. liepos 2 d. iš https://techxplore.com/news/2023-06-artificial-intelligence-evolve.html
Šis dokumentas yra saugomas autorių teisių. Išskyrus bet kokius sąžiningus sandorius privačių studijų ar mokslinių tyrimų tikslais, jokia dalis negali būti atkuriama be raštiško leidimo. Turinys pateikiamas tik informaciniais tikslais.
