1 pav. Siūlomo metodo apžvalga. Mobiliuoju terminalu gaunamas esamo kraštovaizdžio vaizdas ir siunčiamas į serverio kompiuterį. Serveris aptinka tikslinį pastatą ir sukuria kaukę. Pagal kaukės vaizdą nustatoma papildoma sritis, o įvesties vaizdas automatiškai pakeičiamas pagal tikslinės srities apylinkėse esančius požymius. Skaitmeniniu papildymu pagrįstas išvesties vaizdas siunčiamas į mobilųjį terminalą kaip būsimas kraštovaizdis po griovimo, kuris bus rodomas DR ekrane. Kreditas: Takuya Kikuchi et al. Osakos universiteto mokslininkai sukūrė mašininio mokymosi sistemą, galinčią virtualiai pašalinti pastatus iš tiesioginio vaizdo. Naudodama generatyvinių priešpriešos tinklų (GAN) algoritmus, veikiančius nutolusiame serveryje, komanda galėjo realiuoju laiku transliuoti į mobilųjį įrenginį. Šis darbas gali padėti paspartinti bendruomenės susitarimu pagrįstą miestų atnaujinimo procesą.
Kai kurios būtinos miestų atnaujinimo užduotys, pavyzdžiui, senų pastatų griovimas, atidedamos dėl to, kad sunku įtikinti suinteresuotąsias šalis skirti išteklių projektui. Pavyzdžiui, dėl skirtingo pastatų savininkų ir aplinkinių gyventojų supratimo apie planą gali kilti konfliktų ir vėlavimų. Dėl to gali susidaryti paradoksas, kai užduotis būtų tikslinga pradėti vykdyti tik tada, kai jos jau bus įvykdytos. Neturint galimybės naudotis laiko mašina, gali atrodyti, kad civiliniame planavime tai gali sukelti sunkiai išsprendžiamų situacijų
Dabar Osakos universiteto tyrėjų komanda padėjo išspręsti šią problemą – sukūrė naują mašininiu mokymusi pagrįstą algoritmą, kuris pateikia papildytosios realybės vaizdo įrašą realiuoju laiku, demonstruojantį vaizdą po pastato pašalinimo. „Mūsų metodas leidžia naudotojams intuityviai suprasti, kaip atrodys būsimas kraštovaizdis, o tai gali padėti sutrumpinti konsensuso formavimo laiką ir sumažinti išlaidas”, – sako pirmasis autorius Takuya Kikuchi. Ryšys tarp mobiliojo įrenginio ir serverio reiškia, kad visas apdorojimas gali būti atliekamas nuotoliniu būdu, todėl pastato vietoje galima naudoti bet kurį išmanųjį telefoną ar planšetinį kompiuterį. Siekdama pagreitinti algoritmą, kad jis galėtų pateikti realiuoju laiku papildytą vaizdo įrašą, komanda naudojo semantinį įvesties vaizdo segmentavimą. Tai leidžia gilaus mokymosi modeliui klasifikuoti vaizdus pikselis po pikselio, priešingai nei įprasti metodai, kuriais bandoma atlikti 3D objektų aptikimą.
2 pav. Būsimas kraštovaizdis po griovimo, vizualizuotas įdiegta DR sistema (išvesties kadras). Įvesties kadras: Įvesties vaizdas – dabartinis kraštovaizdis. Išvesties kaukė: Automatinio pastatų aptikimo ir maskavimo rezultatas. Išvesties kadras: Automatinio pastatų zonos užbaigimo, naudojant GAN, rezultatas. Pagrindo tiesos kaukė: Teisingas kaukės vaizdas. Pagrindinė tiesa: teisingas išvesties kadro vaizdas. Kreditas: Takuya Kikuchi et al. GAN algoritmuose naudojami du konkuruojantys neuroniniai tinklai – generatorius ir diskriminatorius. Generatorius mokomas kurti vis tikroviškesnius vaizdus, o diskriminatoriaus užduotis – atskirti, ar vaizdas buvo tikras, ar dirbtinai sukurtas. „Taip mokydamasis GAN algoritmas gali sukurti vaizdus, kurie iš tikrųjų neegzistuoja, bet yra tikėtini”, – sako autorius korespondentas Tomohiro Fukuda. Šiuo atveju buvo galima apdoroti labai tiksliai, jei iš kraštovaizdžio pašalinamas pastatas neužėmė daugiau nei 15% ekrano. Remdamasi lauko bandymais, komanda sugebėjo pasiekti, kad virtualus griovimo vaizdo įrašas būtų transliuojamas vidutiniškai 5. 71 kadrų per sekundę sparta, o tai gali labai padėti vietos bendruomenės tobulinimui. Užbaigimo su GAN rezultatų palyginimas naudojant du skirtingus duomenų rinkinius – „Google Street View” (GSV) ir „ImageNet” – kartu su teisingu vaizdu. Pavyzdys, rodantis užbaigimo tikslumo palyginimą. Jis remiasi fono elemento ir užbaigtos srities dydžiu bei užbaigimo tikslumu, parodytu kaip spalvų skirtumas. Buvo analizuojama, kiek užbaigimo tikslumas, vertinamas kaip CIEDE2000 procentinė dalis, mažesnė už slenkstinę vertę, priklauso nuo fono elementų ir užbaigtų sričių dydžio bei mokymo duomenų rinkinio tipo. Kreditas: Takuya Kikuchi et al. Daugiau informacijos: Takuya Kikuchi et al, Diminished reality using semantic segmentation and generative adversarial network for landscape assessment: Journal of Computational Design and Engineering (2022). DOI: 10.1093/jcde/qwac067
Citation: Mašininio mokymosi sistema, galinti virtualiai pašalinti pastatus iš tiesioginio vaizdo (2022, rugpjūčio 3 d.) žiūrėta rugpjūčio 3 d. 2022 iš https://techxplore.com/news/2022-08-machine-capable-virtually-view.html
Šiam dokumentui taikomos autorių teisės. Be raštiško leidimo negalima atgaminti jokios dokumento dalies, išskyrus sąžiningą naudojimą asmeninių studijų ar mokslinių tyrimų tikslais. Turinys pateikiamas tik informaciniais tikslais.
