Autonominė transporto priemonė turi greitai ir tiksliai atpažinti objektus, su kuriais susiduria – nuo tuščiosios eigos sunkvežimio, stovinčio prie kampo, iki dviratininko, švilpiančio link artėjančios sankryžos.
Norėdami tai padaryti, transporto priemonė gali naudoti galingą kompiuterinio matymo modelį, kad suskirstytų į kategorijas kiekvieną didelės raiškos šios scenos vaizdo pikselį, kad nebūtų pamiršti objektai, kurie gali būti užtemdyti prastesnės kokybės vaizde. Tačiau ši užduotis, žinoma kaip semantinis segmentavimas, yra sudėtinga ir reikalauja daug skaičiavimų, kai vaizdas yra didelės raiškos.
Mokslininkai iš MIT, MIT-IBM Watson AI Lab ir kitur sukūrė efektyvesnį kompiuterinio matymo modelį, kuris labai sumažina šios užduoties skaičiavimo sudėtingumą. Jų modelis gali tiksliai realiuoju laiku atlikti semantinį segmentavimą įrenginyje su ribotais aparatūros ištekliais, pvz., borto kompiuteriais, kurie leidžia autonominei transporto priemonei priimti sprendimus per sekundės dalį.
Naujausi moderniausi semantinio segmentavimo modeliai tiesiogiai mokosi sąveikos tarp kiekvienos vaizdo pikselių poros, todėl jų skaičiavimai auga kvadratiškai, kai didėja vaizdo raiška. Dėl šios priežasties, nors šie modeliai yra tikslūs, jie yra per lėti, kad realiuoju laiku apdorotų didelės raiškos vaizdus kraštutiniuose įrenginiuose, pvz., jutikliu ar mobiliajame telefone.
MIT mokslininkai sukūrė naują semantinio segmentavimo modelių bloką, kuris pasiekia tuos pačius gebėjimus kaip ir šie moderniausi modeliai, tačiau turi tik linijinį skaičiavimo sudėtingumą ir efektyvias aparatinės įrangos operacijas.
Rezultatas yra nauja modelių serija, skirta didelės raiškos kompiuteriniam matymui, kuri veikia iki devynių kartų greičiau nei ankstesni modeliai, kai jie naudojami mobiliajame įrenginyje. Svarbu tai, kad šios naujos modelių serijos tikslumas buvo toks pat arba geresnis nei šių alternatyvų.
Ši technika galėtų būti naudojama ne tik siekiant padėti autonominėms transporto priemonėms priimti sprendimus realiuoju laiku, bet ir pagerinti kitų didelės raiškos kompiuterinio matymo užduočių, pavyzdžiui, medicininio vaizdo segmentavimo, efektyvumą.
„Nors mokslininkai gana ilgą laiką naudoja tradicinius regėjimo transformatorius ir jie duoda nuostabių rezultatų, norime, kad žmonės atkreiptų dėmesį ir į šių modelių efektyvumo aspektą. Mūsų darbas rodo, kad galima drastiškai sumažinti skaičiavimą, kad šis realaus laiko vaizdo segmentavimas galėtų įvykti lokaliai įrenginyje“, – sako Song Han, Elektros inžinerijos ir informatikos katedros (EECS) docentas. MIT-IBM Watson AI Lab ir vyresnysis dokumentas, aprašantis naująjį modelį.
Straipsnyje prie jo prisijungė pagrindinis autorius Han Cai, EECS absolventas; Junyan Li, Džedziango universiteto bakalauras; Muyan Hu, Tsinghua universiteto bakalauro studentas; ir Chuang Gan, pagrindinis MIT-IBM Watson AI laboratorijos mokslinis darbuotojas. Tyrimas bus pristatytas tarptautinėje kompiuterinės vizijos konferencijoje.
Supaprastintas sprendimas
Suskirstyti kiekvieną didelės raiškos vaizdo pikselį, kuriame gali būti milijonai pikselių, yra sudėtinga mašininio mokymosi modelio užduotis. Neseniai buvo efektyviai panaudotas galingas naujo tipo modelis, žinomas kaip regėjimo transformatorius.
Transformatoriai iš pradžių buvo sukurti natūraliai kalbai apdoroti. Šiame kontekste jie užkoduoja kiekvieną žodį sakinyje kaip žetoną ir tada sukuria dėmesio žemėlapį, kuriame užfiksuoti kiekvieno žetono santykiai su visais kitais žetonais. Šis dėmesio žemėlapis padeda modeliui suprasti kontekstą, kai jis prognozuoja.
Naudodamas tą pačią koncepciją, regos transformatorius susmulkina vaizdą į pikselių lopinėlius ir užkoduoja kiekvieną mažą lopinėlį į žetoną prieš generuodamas dėmesio žemėlapį. Sukurdamas šį dėmesio žemėlapį, modelis naudoja panašumo funkciją, kuri tiesiogiai išmoksta sąveiką tarp kiekvienos pikselių poros. Tokiu būdu modelis sukuria vadinamąjį visuotinį imlų lauką, o tai reiškia, kad jis gali pasiekti visas atitinkamas vaizdo dalis.
Kadangi didelės raiškos vaizde gali būti milijonai pikselių, suskirstytų į tūkstančius dėmių, dėmesio žemėlapis greitai tampa milžiniškas. Dėl šios priežasties, didėjant vaizdo raiškai, skaičiavimo kiekis didėja kvadratiškai.
Savo naujoje modelių serijoje, pavadintoje „EfficientViT“, MIT tyrėjai naudojo paprastesnį mechanizmą, kad sukurtų dėmesio žemėlapį – netiesinio panašumo funkciją pakeisdami linijinio panašumo funkcija. Tokiu būdu jie gali pertvarkyti operacijų tvarką, kad sumažintų bendrus skaičiavimus, nekeičiant funkcionalumo ir neprarandant visuotinio imlumo lauko. Taikant jų modelį, prognozei reikalingas skaičiavimo kiekis didėja tiesiškai, didėjant vaizdo skyrai.
„Bet nemokamų pietų nėra. Linijinis dėmesys užfiksuoja tik pasaulinį vaizdo kontekstą, prarandant vietinę informaciją, o tai pablogina tikslumą“, – sako Han.
Norėdami kompensuoti šį tikslumo praradimą, mokslininkai į savo modelį įtraukė du papildomus komponentus, kurių kiekvienas prideda tik nedidelį skaičiavimo kiekį.
Vienas iš šių elementų padeda modeliui užfiksuoti vietinių savybių sąveiką, sušvelninant linijinės funkcijos silpnumą vietinės informacijos gavimo metu. Antrasis modulis, įgalinantis mokymąsi įvairiais masteliais, padeda modeliui atpažinti tiek didelius, tiek mažus objektus.
„Svarbiausia dalis yra ta, kad turime kruopščiai subalansuoti našumą ir efektyvumą“, – sako Cai.
Jie sukūrė „EfficientViT“ su aparatinei įrangai palankia architektūra, todėl ją būtų lengviau naudoti įvairių tipų įrenginiuose, pvz., virtualios realybės ausinėse arba autonominėse transporto priemonėse. Jų modelis taip pat gali būti pritaikytas kitoms kompiuterinio matymo užduotims, pavyzdžiui, vaizdo klasifikavimui.
Semantinės segmentacijos supaprastinimas
Išbandę savo modelį duomenų rinkiniuose, naudojamuose semantiniam segmentavimui, jie išsiaiškino, kad „Nvidia“ grafikos apdorojimo bloke (GPU) jis veikia iki devynių kartų greičiau nei kiti populiarūs vaizdo transformatorių modeliai, tuo pačiu arba geresniu tikslumu.
„Dabar galime pasinaudoti geriausiomis abiejų pasaulių savybėmis ir sumažinti skaičiavimą, kad jis būtų pakankamai greitas, kad galėtume jį paleisti mobiliuosiuose ir debesies įrenginiuose“, – sako Hanas.
Remdamiesi šiais rezultatais, mokslininkai nori pritaikyti šią techniką, kad paspartintų generatyvinius mašininio mokymosi modelius, pvz., tuos, kurie naudojami naujiems vaizdams kurti. Jie taip pat nori toliau plėsti „EfficientViT“ kitoms regėjimo užduotims atlikti.
„Efektyvūs transformatorių modeliai, kuriuos sukūrė profesoriaus Song Han komanda, dabar sudaro pažangiausių metodų, skirtų įvairioms kompiuterinio regėjimo užduotims, įskaitant aptikimą ir segmentavimą, stuburą“, – sako Lu Tianas, vyresnysis AMD, Inc. AI algoritmų direktorius. nesusijęs su šiuo dokumentu. „Jų tyrimai ne tik parodo transformatorių efektyvumą ir galimybes, bet ir atskleidžia didžiulį jų potencialą realiame pasaulyje, pavyzdžiui, vaizdo žaidimų vaizdo kokybės gerinimui.
„Modelių glaudinimas ir lengvo modelio projektavimas yra esminės mokslinių tyrimų temos siekiant efektyvaus AI skaičiavimo, ypač didelių pamatų modelių kontekste. Profesoriaus Song Han grupė padarė didelę pažangą glaudindama ir paspartindama šiuolaikinius giluminio mokymosi modelius, ypač regėjimo transformatorius“, – priduria Jay’us Jacksonas, pasaulinis Oracle dirbtinio intelekto ir mašininio mokymosi viceprezidentas, kuris nedalyvavo šiame tyrime. „Oracle Cloud Infrastructure remia jo komandą, siekdama patobulinti šią įtakingų tyrimų kryptį siekiant veiksmingo ir ekologiško AI.
