Automobiliui važiuojant siaura miesto gatve, blizgių dažų ar stovinčių transporto priemonių šoninių veidrodėlių atspindžiai gali padėti vairuotojui įžvelgti dalykus, kurie kitu atveju būtų paslėpti, pavyzdžiui, vaikas, žaidžiantis ant šaligatvio už stovinčių automobilių.
Remdamiesi šia idėja, MIT ir Rice universiteto mokslininkai sukūrė kompiuterinio matymo techniką, kuri atspindi pasaulio vaizdą. Jų metodas naudoja atspindžius, kad blizgūs objektai taptų „kameromis“, leidžiančiais vartotojui matyti pasaulį taip, lyg jis žiūrėtų pro kasdienių daiktų, tokių kaip keraminis kavos puodelis ar metalinis popierinis svarelis, „lęšius“.
Naudojant objekto vaizdus, paimtus iš skirtingų kampų, ši technika paverčia to objekto paviršių virtualiu jutikliu, fiksuojančiu atspindžius. AI sistema atvaizduoja šiuos atspindžius taip, kad galėtų įvertinti scenos gylį ir užfiksuoti naujus vaizdus, kurie būtų matomi tik iš objekto perspektyvos. Šią techniką būtų galima naudoti norint pamatyti už kampų ar už objektų, kurie blokuoja stebėtojo vaizdą.
Šis metodas gali būti ypač naudingas autonominėse transporto priemonėse. Pavyzdžiui, tai gali leisti savarankiškai važiuojančiam automobiliui panaudoti atspindžius iš objektų, kuriuos jis pravažiuoja, pavyzdžiui, žibintų stulpus ar pastatus, kad matytų aplink stovintį sunkvežimį.
„Mes parodėme, kad bet koks paviršius gali būti paverstas jutikliu naudojant šią formulę, kuri paverčia objektus virtualiais pikseliais ir virtualiais jutikliais. Tai gali būti taikoma daugelyje skirtingų sričių“, – sako Kushagra Tiwary, „Media Lab“ kamerų kultūros grupės absolventė ir viena iš šio tyrimo straipsnio autorių.
Straipsnyje prie Tiwary prisijungė vienas iš pagrindinių autorių Akshat Dave, Rice universiteto magistrantas; Nikhil Behari, MIT mokslinių tyrimų paramos bendradarbis; Tzofi Klinghoffer, MIT absolventas; Ashok Veeraraghavan, Rice universiteto elektros ir kompiuterių inžinerijos profesorius; ir vyresnysis autorius Rameshas Raskaras, žiniasklaidos meno ir mokslų docentas bei MIT kamerų kultūros grupės vadovas. Tyrimas bus pristatytas kompiuterinės vizijos ir modelių atpažinimo konferencijoje.
Apmąstymas apie apmąstymus
Kriminalinių televizijos laidų herojai dažnai „priartina ir pagerina“ stebėjimo filmuotą medžiagą, kad užfiksuotų atspindžius – galbūt tuos, kurie užfiksuoti įtariamojo akiniuose nuo saulės – kurie padeda jiems išspręsti nusikaltimą.
„Realiame gyvenime išnaudoti šiuos atspindžius nėra taip paprasta, kaip tiesiog paspausti tobulinimo mygtuką. Iš šių apmąstymų gauti naudingos informacijos yra gana sunku, nes atspindžiai mums suteikia iškreiptą pasaulio vaizdą“, – sako Dave’as.
Šis iškraipymas priklauso nuo objekto formos ir pasaulio, kurį atspindi objektas, apie kuriuos abu tyrinėtojai gali turėti neišsamios informacijos. Be to, blizgus objektas gali turėti savo spalvą ir tekstūrą, kuri susimaišo su atspindžiais. Be to, atspindžiai yra dvimatės trimačio pasaulio projekcijos, todėl sunku įvertinti atspindėtų scenų gylį.
Tyrėjai rado būdą, kaip įveikti šiuos iššūkius. Jų technika, žinoma kaip ORCa (kuri reiškia objektus kaip spinduliavimo lauko kameras), veikia trimis etapais. Pirma, jie fotografuoja objektą iš daugelio apžvalgos taškų, užfiksuodami daugybę atspindžių ant blizgaus objekto.
Tada kiekvienam vaizdui iš tikrosios kameros ORCa naudoja mašininį mokymąsi, kad objekto paviršių paverstų virtualiu jutikliu, fiksuojančiu šviesą ir atspindžius, kurie atsitrenkia į kiekvieną virtualų objekto paviršiaus tašką. Galiausiai sistema naudoja virtualius pikselius objekto paviršiuje, kad modeliuotų 3D aplinką objekto požiūriu.
Gaudo spindulius
Objekto vaizdavimas iš daugelio kampų leidžia ORCa užfiksuoti kelių vaizdų atspindžius, kuriuos sistema naudoja, kad įvertintų blizgančio objekto ir kitų scenos objektų gylį, be to, įvertintų blizgančio objekto formą. ORCa modeliuoja sceną kaip 5D spinduliavimo lauką, kuris fiksuoja papildomos informacijos apie šviesos spindulių, sklindančių iš kiekvieno scenos taško, intensyvumą ir kryptį.
Šiame 5D spinduliavimo lauke esanti papildoma informacija taip pat padeda ORCa tiksliai įvertinti gylį. Kadangi scena vaizduojama kaip 5D spinduliavimo laukas, o ne 2D vaizdas, vartotojas gali matyti paslėptas funkcijas, kurias kitu atveju užblokuotų kampai ar kliūtys.
Tiesą sakant, kai ORCa užfiksuoja šį 5D spinduliavimo lauką, vartotojas gali įdėti virtualią kamerą bet kurioje scenos vietoje ir susintetinti, ką ta kamera matytų, aiškina Dave’as. Vartotojas taip pat gali įterpti virtualius objektus į aplinką arba pakeisti objekto išvaizdą, pavyzdžiui, iš keramikos į metalinį.
Papildoma informacija, užfiksuota 5D spinduliavimo lauke, kurią sužino ORCa, leidžia vartotojui pakeisti objektų išvaizdą scenoje, šiuo atveju blizgančią sferą ir puodelį paverčiant metaliniais objektais. Kreditas: tyrėjų sutikimas
„Buvo ypač sudėtinga pereiti nuo 2D vaizdo į 5D aplinką. Turite įsitikinti, kad žemėlapių sudarymas veikia ir yra fiziškai tikslus, todėl jis grindžiamas tuo, kaip šviesa sklinda erdvėje ir kaip šviesa sąveikauja su aplinka. Daug laiko praleidome galvodami, kaip galėtume modeliuoti paviršių“, – sako Tiwary.
Tikslūs įvertinimai
Tyrėjai įvertino savo techniką lygindami ją su kitais atspindžius modeliuojančiais metodais, o tai yra šiek tiek kitokia užduotis nei atlieka ORCa. Jų metodas puikiai atskyrė tikrąją objekto spalvą nuo atspindžių ir pranoko bazines linijas, išgaudamas tikslesnę objekto geometriją ir tekstūras.
Jie palygino sistemos gylio įvertinimus su modeliuotais žemės tiesos duomenimis apie tikrąjį atstumą tarp objektų scenoje ir nustatė, kad ORCa prognozės yra patikimos.
„Nuosekliai, naudojant ORCa, jis ne tik tiksliai įvertina aplinką kaip 5D vaizdą, bet, kad tai pasiektų, atliekant tarpinius veiksmus, jis taip pat gerai įvertina objekto formą ir atskiria atspindžius nuo objekto tekstūros. Dave sako.
Remdamiesi šiuo koncepcijos įrodymu, mokslininkai nori pritaikyti šią techniką dronų vaizdavimui. ORCa galėtų panaudoti silpnus atspindžius nuo objektų, virš kurių skrenda dronas, kad atkurtų sceną nuo žemės. Jie taip pat nori patobulinti ORCa, kad ji galėtų panaudoti kitas užuominas, pvz., šešėlius, rekonstruoti paslėptą informaciją arba sujungti atspindžius iš dviejų objektų, kad atvaizduotų naujas scenos dalis.
„Įvertinti veidrodinius atspindžius yra tikrai svarbu norint matyti už kampų, ir tai yra kitas natūralus žingsnis, norint pamatyti už kampų, naudojant silpnus atspindžius scenoje“, – sako Raskaras.
„Paprastai regėjimo sistemoms sunku valdyti blizgančius objektus. Šis darbas yra labai kūrybingas, nes ilgą laiką silpną objekto blizgesį paverčia privalumu. Išnaudodamas aplinkos atspindžius nuo blizgančio objekto, popierius ne tik gali pamatyti paslėptas scenos dalis, bet ir suprasti, kaip scena apšviesta. Tai įgalina 3D suvokimo programas, kurios apima, bet tuo neapsiribojant, galimybę sujungti virtualius objektus į realias scenas taip, kad jie atrodytų sklandžiai, net esant sudėtingoms apšvietimo sąlygoms“, – sako Achuta Kadambi, elektros inžinerijos ir kompiuterių mokslo docentė. Kalifornijos universitetas Los Andžele, kuris nebuvo susijęs su šiuo darbu. „Viena iš priežasčių, kodėl kiti negalėjo taip panaudoti blizgančių objektų, yra ta, kad daugeliui ankstesnių darbų reikalingi žinomos geometrijos ar tekstūros paviršiai. Autoriai sukūrė intriguojančią, naują formuluotę, kuriai nereikia tokių žinių.
Tyrimą iš dalies palaikė „Intelligence Advanced Research Projects Activity“ ir Nacionalinis mokslo fondas.
