Smulkiagrūdės eskizu pagrįstos vaizdų paieškos (FG-SBIR) iliustracija, kai laisva ranka pieštas žmogaus eskizas yra užklausa atvaizdų paieškos instanciniu lygmeniu. FG-SBIR yra sudėtingas uždavinys, nes 1) užduotis yra smulkiagrūdė ir apima įvairias sritis ir 2) laisvos rankos eskizai yra labai abstraktūs, todėl smulkiagrūdę atitiktį dar labiau apsunkina. Kreditas: Bhunia et al. Surėjaus universiteto SketchX tyrėjai neseniai sukūrė meta mokymusi pagrįstą modelį, kuris leidžia naudotojams gauti konkrečių daiktų vaizdus tiesiog nupiešus jų eskizus planšetiniame kompiuteryje, išmaniajame telefone ar kituose išmaniuosiuose įrenginiuose. Ši sistema buvo aprašyta straipsnyje, kuris bus pristatytas Europos kompiuterinės regos konferencijoje (ECCV), vienoje iš trijų pagrindinių kompiuterinės regos konferencijų kartu su CVPR ir ICCV.
„Tai naujausias darbas, susijęs su „smulkių vaizdų paieška” – problema, kurią mano tyrimų laboratorija („SketchX”, kuriai vadovauju ir kurią įkūriau 2012) pradėjo spręsti dar 2015, kai CVPR 2015 buvo paskelbtas straipsnis pavadinimu „Sketch Me That Shoe” („Nupiešk man tą batą”)”, – „TechXplore” sakė vienas iš tyrimą atlikusių mokslininkų Yi-Zhe Songas. „Mūsų straipsnio idėja yra ta, kad dažnai sunku arba neįmanoma atlikti vaizdų paiešką smulkiu lygmeniu (pavyzdžiui, rasti tam tikros rūšies batus per Kalėdas, bet ne bet kokius batus).”
Anksčiau kai kurie tyrėjai bandė sukurti modelius, galinčius gauti vaizdus pagal teksto ar balso aprašymus. Tekstą naudotojams gali būti lengviau sukurti, tačiau nustatyta, kad jis veikia tik stambiu lygiu. Kitaip tariant, jis gali tapti dviprasmiškas ir neveiksmingas, kai bandoma aprašyti detales.
Kita vertus, eskizai arba piešiniai iš prigimties yra smulkiagrūdžiai, todėl yra optimalūs norint sukurti detalius ir tikslius objektų atvaizdus. Be to, dauguma šiuolaikinių išmaniųjų prietaisų turi jutiklinius ekranus, kuriuose naudotojai gali kurti eskizus.
„Pagrindiniai iššūkiai, susiję su eskizais pagrįsta smulkiagrūdžių vaizdų paieška, dažniausiai yra šie: (i) žmonės tiesiog nemoka gerai eskizuoti, ii) mes eskizuojame skirtingais stiliais ir iii) nėra pakankamai eskizų, kad būtų galima išmokyti gerus modelius”, – aiškino Song. „Šia tema paskelbėme keletą straipsnių, kuriuose kiekvieną kartą nagrinėjami skirtingi aspektai. Naujausiame mūsų darbe sprendžiamos visos trys problemos vienu metu ir toliau stumiama riba link praktinio technologijos pritaikymo.”
Songo ir jo kolegų sukurtas modelis leidžia net ir ne itin įgudusiems eskizuoti naudotojams gauti ieškomų objektų atvaizdus, net jei jis nebuvo apmokytas naudojant šių objektų atvaizdus. Tai leidžia padaryti jo „prisitaikanti” konstrukcija, kuri leidžia sistemai prisitaikyti prie unikalaus naudotojo piešimo stiliaus, jo piešinių kokybės ir naujų objektų kategorijų, naudojant tik kelis pavyzdinius eskizus.
Eskizų piešimas laisva ranka idealiai tinka smulkiai egzempliorių lygmens vaizdų paieškai. Kreditas: Bhunia et al. „Mūsų sistema labai greitai išmoksta dirbti su jumis (geriau supranta jūsų eskizus), kol naudojate ją kelis pirmuosius kartus – paprastai 2-3 pavyzdžių daugiau nei pakanka”, – sakė pirmasis autorius Ayan Bhunia. „Geriausia tai, kad šis prisitaikymas vyksta tik testavimo metu, t. y. nereikia mokyti naujo modelio kitam vartotojui ir (arba) kategorijai – tai labai palengvina praktinį diegimą, tereikia kiekvienam klientui pateikti tą patį apmokytą modelį, ir jis išmoks dirbti su skirtingo stiliaus, kokybės ir (arba) kategorijos vaizdais.”
Atlikus pirminius vertinimus naudojant viešus duomenų rinkinius, mokslininkų modelis pasirodė nepaprastai gerai, nes sugebėjo gauti vaizdus pagal įvairius eskizų pavyzdžius. Ateityje jį galėtų naudoti interneto mažmenininkai ir kitos bendrovės, kad jų klientai galėtų rasti ieškomų prekių rūšių, neperžiūrėdami viso katalogo.
„Mūsų darbas jau labai brandus, kitas etapas bus komercializuoti mūsų sistemą ir leisti paprastiems vartotojams pasinaudoti šiuo naujausiu dirbtinio intelekto pasiekimu, kad jie galėtų rasti „tą” batų porą tiesiog piešdami pirštais telefono ekrane”, – pridūrė Song. „Ilgalaikėje perspektyvoje smulkiagrūdę paiešką taip pat galėtume išplėsti į metaverslą. Įsivaizduokite, kad trumpai eskizuojate pirštais 3D pasaulyje ir prieš jus iššoka reikiamas produktas / pastatas / objektas.”
Dabar Songas ir jo kolegos bando komercializuoti savo modelį ir skatinti jo diegimą realioje aplinkoje. Kai kurie pasaulyje žinomi baldų ir drabužių mažmenininkai jau pareiškė norą naudoti modelį savo paslaugoms tobulinti.
Daugiau informacijos: Ayan Kumar Bhunia et al, Adaptive fine-grained sketch-based image retrieval. arXiv: 2207.01723v2 [cs.CV], arxiv.org/abs/2207.01723
© 2022 Science X Network
A system to retrieve images using esetches on smart devices (2022, July 19) gauta rugpjūčio 1 d. 2022 iš https://techxplore.com/news/2022-07-images-smart-devices.html
Šiam dokumentui taikomos autorių teisės. Be raštiško leidimo negalima atgaminti jokios dokumento dalies, išskyrus sąžiningą naudojimą asmeninėms studijoms ar tyrimams. Turinys pateikiamas tik informaciniais tikslais.
