1 pav. 4K hologramų generavimo ir atkūrimo procesai naudojant 4K-DMDNet. Kreditas: Opto-elektroniniai avansai (2023). DOI: 10.29026/oea.2023.220135 2009 metais IMAX 3D filmas „Avataras“ užvaldė pasaulinę kino rinką. Po kelerių metų Hatsune Miku 3D koncertas patraukė visų anime gerbėjų dėmesį. Neseniai AR/VR 3D galvos apdangalai paskatino sparčiai vystytis metaverse. Kiekviena pažanga 3D ekrano srityje atneša esminių socialinių rūpesčių ir ekonominės naudos.
Norint gauti tikroviškesnę vizualinę patirtį, dauguma pagrindinių komercinių 3D ekrano sprendimų yra pagrįsti žiūroninio matymo principais.
Tačiau, skirtingai nei stebint tikrus 3D objektus, regėjimo fokusavimo gylis išlieka nepakitęs, kol žiūrovas nešioja įrenginį, kad gautų 3D informaciją. Dėl šio tipo suderinamumo konflikto žiūrovas tampa jautrus regėjimo nuovargiui ir galvos svaigimui, o tai riboja vartotojo patirtį.
Kompiuteriu sugeneruota holografija (CGH) gali užkirsti kelią vergencijos prisitaikymo konflikto atsiradimui iš kilmės. Eksperimentinės sąrankos yra paprastos ir kompaktiškos. CGH sulaukė didelio akademinės bendruomenės ir pramonės dėmesio. Tai laikoma būsima 3D ekrano forma.
Iš esmės CGH koduoja 3D objektą į skaitmeninę dvimatę (2D) hologramą, pagrįstą difrakcijos skaičiavimais. Tada 2D holograma įkeliama į erdvinės šviesos moduliatorių (SLM), apšviečiamą plokštumos bangomis. 3D objekto optinė rekonstrukcija gaunama tam tikru atstumu. CGH gali būti pritaikytas įvairiems 3D ekranams, pvz., prie galvos tvirtinamuose ekranuose, priekiniuose ekranuose ir projekciniuose ekranuose.
Kaip generuoti didelės spartos ir aukštos kokybės 2D hologramas, šiuo metu yra pagrindinė šios srities problema ir esminė tyrimų kryptis.
Neseniai Tsinghua universiteto Hololab pasiūlė modeliu pagrįstą gilaus mokymosi neuroninį tinklą, vadinamą 4K-DMDNet. Jis realizuoja aukštos kokybės didelės spartos hologramų generavimą ir pasiekia didelio tikslumo 4K spalvų holografinius ekranus. Straipsnis publikuojamas žurnale Opto-elektroniniai avansai.
2 pav. (a) duomenimis pagrįsto gilaus mokymosi palyginimas su (b) 4K-DMDNet mokymo principu. Kreditas: Opto-elektroniniai avansai (2023). DOI: 10.29026/oea.2023.220135 Dėl SLM apribojimų, apskaičiuotus kompleksinės amplitudės pasiskirstymus holografinėje plokštumoje reikia konvertuoti į hologramas, turinčias tik amplitudę arba tik fazės hologramas (POH). Tarp jų POH generavimo procesas paprastai yra netinkamai iškelta atvirkštinė problema. Jis turi problemų, nes sprendimas gali būti ne unikalus, stabilus ar egzistuojantis.
Iteraciniai algoritmai gali konvertuoti POH generavimo procesą į optimizavimo problemą. Galima gauti geros konvergencijos skaitinius sprendimus. Tačiau algoritmai susiduria su kompromisu tarp skaičiavimo greičio ir rekonstrukcijos kokybės.
Galingos lygiagrečios gilaus mokymosi apdorojimo galimybės atnešė revoliucinius optimizavimo problemų sprendimo patobulinimus. Taip pat buvo padarytas didelis gilaus mokymosi poveikis CGH.
3D objektų mokymo duomenų rinkinys ir atitinkamas hologramos duomenų rinkinys gaunami iš anksto, kad būtų naudojami kaip neuroninio tinklo įvestis ir išvestis. Neuroninis tinklas yra išmokytas išmokti sudaryti ryšį tarp jų. Išmokytas tinklas gali greitai nuspėti rodymo tikslinės įvesties už mokymo duomenų rinkinio ribų. Tikimasi, kad tuo pačiu metu bus sukurta didelės spartos ir aukštos kokybės hologramos.
Idėją panaudoti neuroninius tinklus hologramoms generuoti Japonijos mokslininkai pasiūlė dar 1998 m. Tačiau tuo metu ribojus kompiuterių techninės ir programinės įrangos našumą, buvo gauti tik preliminarūs rezultatai.
Naudojant plačias GPU ir konvoliucinių neuroninių tinklų (CNN) programas, dabartinis techninės ir programinės įrangos veikimas labiau tinka matematinėms CGH charakteristikoms. Mokymu pagrįsta CGH sparčiai vystėsi.
2021 m. MIT mokslininkai pasiūlė „Tensor“ holografinį tinklą, leidžiantį išmaniuosiuose telefonuose realiuoju laiku generuoti 2K hologramas.
3 pav. Įvairių tipų vaizdų optinės rekonstrukcijos: (a) spalvotas vaizdas ir (b) dvejetainis vaizdas. Kreditas: Opto-elektroniniai avansai (2023). DOI: 10.29026/oea.2023.220135 Norint gauti tikslias tinklo prognozes, mokymo duomenų rinkinį ir atitinkamą hologramos duomenų rinkinį reikia generuoti daug laiko. Be to, kadangi tinklas tiesiog išmoksta susieti įvestis ir išvestis, hologramos duomenų rinkinio kokybė riboja mokymo rezultatų ribas.
Siekiant įveikti pirmiau minėtus duomenimis pagrįsto gilaus mokymosi apribojimus, siūlomos hologramų generavimo schemos, pagrįstos modeliu pagrįstu giluminiu mokymusi.
Vietoj to, kad hologramos duomenų rinkinys būtų generuojamas iš anksto, tinklas apmokomas naudojant atvirkštinės problemos fizinį modelį, kaip modeliu pagrįsto metodo apribojimą. Taigi tinklas gali išmokti savarankiškai koduoti hologramas, peržengdamas hologramų duomenų rinkinio dydžio ir kokybės apribojimus.
Tačiau norint pasiekti geresnių rezultatų, įprastiems modeliu pagrįstiems giluminio mokymosi tinklams reikia perkelti mokymąsi ekrano tikslais. Papildomos laiko sąnaudos riboja modeliu pagrįsto gilaus mokymosi praktinį pritaikymą.
Šiame darbe siūlomas 4K-DMDNet naudoja likutinę U-Net neuroninio tinklo sistemą. Frenelio difrakcijos modelis veikia kaip mokymo proceso apribojimas. Jis gali generuoti aukštos kokybės 4K hologramas be mokymosi perdavimo.
Apskritai tinklo prognozavimo našumą įtakoja tiek riboti tinklo mokymosi pajėgumai, tiek nepakankami mokymo proceso apribojimai.
Siekdamas išspręsti ribotų mokymosi galimybių iššūkius, 4K-DMDNet pristato subpikselių konvoliucijos metodą. Atrankos kelyje kanalų skaičius išplečiamas keturis kartus naudojant konvoliucijas, o erdvinis išplėtimas gaunamas per pikselių maišymą. Subpikselių konvoliucijos metodas išsprendžia iššūkius, kylančius dėl daugelio nulinių parametrų pridėjimo erdviniam išplėtimui tradicinėje perkeltoje konvoliucijoje. Tai padidina mokomus parametrus atrankos kelyje iki keturių kartų didesnio nei pradinis dydis, nekeičiant bendro duomenų kiekio. Tai veiksmingai padidina tinklo mokymosi galimybes, todėl žymiai pagerėjo rekonstrukcijų ryškumas ir tikslumas.
Siekdamas išspręsti nepakankamų apribojimų mokymo procese iššūkius, 4K-DMDNet Frenelio difrakcijos modelyje įdiegia perteklinio atrankos operaciją. Apribojimų sritis dažnio srityje yra paminkštinta nuliu, kad skaičiavimo procese padvigubėtų dydis. Remiantis erdvinio atrankos intervalo ir dažnių diapazono atvaizdavimu, rekonstrukcijos atitinka Nyquist-Shannon atrankos teoremą. Griežtinant dažnio srities apribojimus, difrakcijos modelio tikslumas padidinamas.
Daugiau informacijos: Kexuan Liu ir kt., 4K-DMDNet: difrakcijos modeliu pagrįstas tinklas, skirtas 4K kompiuteriu sukurtai holografijai, Opto-elektroniniai avansai (2023). DOI: 10.29026/oea.2023.220135
Pateikė Compuscript Ltd
Citata: naudojant modeliu pagrįstą gilųjį mokymąsi, kad būtų pasiektas didelio tikslumo 4K spalvotas holografinis ekranas (2023 m. vasario 22 d.), gautas 2023 m. vasario 23 d. iš https://techxplore.com/news/2023-02-model-driven-deep-high-fidelity -4k-holographic.html
Šis dokumentas yra saugomas autorių teisių. Išskyrus bet kokius sąžiningus sandorius privačių studijų ar mokslinių tyrimų tikslais, jokia dalis negali būti atkuriama be raštiško leidimo. Turinys pateikiamas tik informaciniais tikslais.
