„ARGUS Offline“ vartotojo sąsajos ir komponentų apžvalga. (A) Duomenų valdytojas rodo pritaikytus filtrus (A1) ir gautų seansų sąrašą (A2). (B) Erdviniame vaizde rodomas pasaulio taškų debesis, vaizduojantis fizinę aplinką, 3D taškai, skirti akių ir rankų padėtims, žvilgsnio projekcijos ir šilumos žemėlapiai. (B1) Pateikimo valdikliai leidžia vartotojui pasirinkti erdvinio vaizdo elementus, kuriuos jis nori matyti. (C) Laikinasis vaizdas: (C1) Vaizdo grotuvas yra pagrindinė kameros vaizdo išvestis, kurią naudoja naudotojo pasirinkta dabartinė laiko žyma. (C2) Laikinasis valdiklis valdo vaizdo grotuvą ir atnaujina modelio išvesties peržiūros priemonę. (C3) Modelio išvesties peržiūros priemonė rodo mašininio mokymosi modelių (protavimo ir suvokimo), naudojamų vykdymo metu, išvestį. Kreditas: arXiv (2023). DOI: 10.48550/arxiv.2308.06246 Papildytos realybės (AR) technologija jau seniai žavi tiek mokslo bendruomenę, tiek plačiąją visuomenę, dešimtmečius išlikdama šiuolaikinės mokslinės fantastikos dalimi.
Siekdama pažangių AR padėjėjų, kurie, pavyzdžiui, gali padėti žmonėms atlikti sudėtingas operacijas ar kasdien ruošti maistą, NYU Tandon School of Engineering tyrimų grupė pristatė išplėstinės realybės orientavimo ir naudotojo modeliavimo sistemą arba ARGUS.
Interaktyvus vizualinės analizės įrankis ARGUS sukurtas taip, kad padėtų kurti išmaniuosius AR padėjėjus, kurie gali veikti tokiuose įrenginiuose kaip Microsoft HoloLens 2 arba MagicLeap. Tai leidžia kūrėjams rinkti ir analizuoti duomenis, modeliuoti, kaip žmonės atlieka užduotis, ir rasti bei išspręsti kuriamų AR padėjėjų problemas.
Claudio Silva, NYU Tandon instituto kompiuterių mokslo ir inžinerijos profesorius ir NYU duomenų mokslų centro duomenų mokslo profesorius, vadovauja tyrimų grupei, kuri 2023 m. spalio 26 d. Australijoje, Melburne, IEEE VIS 2023 pristatys savo pranešimą apie ARGUS. Šis leidinys gavo garbingą paminėjimą šio renginio geriausio popieriaus apdovanojimuose.
„Įsivaizduokite, kad kuriate AR AI asistentą, kuris padėtų namų virėjams ruošti maistą“, – sakė Silva. „Naudodamas ARGUS, kūrėjas gali stebėti, kaip virėjas dirba su ingredientais, kad galėtų įvertinti, kaip dirbtinis intelektas gerai supranta aplinką ir naudotojo veiksmus. Taip pat, kaip sistema teikia atitinkamas instrukcijas ir grįžtamąjį ryšį vartotojui. skirtas naudoti tokių AR sistemų kūrėjams.
ARGUS veikia dviem režimais: prisijungus ir neprisijungus.
Internetinis režimas skirtas stebėti ir derinti realiuoju laiku, kai naudojama AR sistema. Tai leidžia kūrėjams pamatyti, ką mato AR sistema ir kaip ji interpretuoja aplinką ir vartotojo veiksmus. Jie taip pat gali koreguoti nustatymus ir įrašyti duomenis vėlesnei analizei.
Režimas neprisijungus skirtas AR sistemos sugeneruotų istorinių duomenų analizei. Jame pateikiami įrankiai, skirti tyrinėti ir vizualizuoti šiuos duomenis, padedantys kūrėjams suprasti, kaip sistema veikė praeityje.
ARGUS režimą neprisijungus sudaro trys pagrindiniai komponentai: duomenų tvarkytuvė, padedanti vartotojams tvarkyti ir filtruoti AR seanso duomenis; erdvinis vaizdas, suteikiantis erdvinės sąveikos AR aplinkoje 3D vizualizaciją; ir Laikinasis vaizdas, kuriame dėmesys sutelkiamas į veiksmų ir objektų eigą AR seansų metu. Šie komponentai kartu palengvina išsamią duomenų analizę ir derinimą.
„ARGUS yra unikalus savo galimybe teikti visapusišką stebėjimą realiuoju laiku ir retrospektyvią sudėtingų multimodalinių duomenų analizę kuriant sistemas“, – sakė Silva. „Erdvinės ir laiko vizualizacijos įrankių integravimas išskiria jį kaip sprendimą, skirtą pažangiosioms pagalbinėms AR sistemoms tobulinti, siūlydamas galimybes, kurių nėra kituose įrankiuose.
Tyrimas paskelbtas arXiv išankstinio spausdinimo serveris.
Daugiau informacijos: Sonia Castelo ir kt., ARGUS: AI padedamų užduočių gairių vizualizavimas AR, arXiv (2023). DOI: 10.48550/arxiv.2308.06246
ARGUS yra atvirojo kodo ir pasiekiamas GitHub pagal VIDA-NYU
Žurnalo informacija: arXiv
Citata: Tyrėjai pristatė įrankį, padedantį kūrėjams kurti papildytosios realybės užduočių asistentus (2023 m., rugsėjo 28 d.), gautą 2023 m. rugsėjo 29 d. iš https://techxplore.com/news/2023-09-unveil-tool-augmented-reality-task.html
Šis dokumentas yra saugomas autorių teisių. Išskyrus bet kokius sąžiningus sandorius privačių studijų ar mokslinių tyrimų tikslais, jokia dalis negali būti atkuriama be raštiško leidimo. Turinys pateikiamas tik informaciniais tikslais.
