Tyrėjai pristatė naują fizikos įkvėptų generatyvinių modelių šeimą, pavadintą PFGM++, kuri suvienija difuzijos modelius ir Puasono srauto generuojamuosius modelius (PFGM), kad būtų geriau atpažintas modelis. Kreditas: Alex Shipps / MIT CSAIL per Midjourney Generatyvusis dirbtinis intelektas, kuris šiuo metu yra populiaraus diskurso viršūnėje, žada pasaulį, kuriame paprastas virsta sudėtingu – kur paprastas paskirstymas išsivysto į sudėtingus vaizdų, garsų ar teksto modelius, paversdamas dirbtinį stulbinamai tikrą.
Vaizduotės sferos nebėra vien tik abstrakcijos, nes mokslininkai iš MIT kompiuterių mokslo ir dirbtinio intelekto laboratorijos (CSAIL) atgaivino naujovišką AI modelį. Jų naujojoje technologijoje integruoti du iš pažiūros nesusiję fiziniai dėsniai, kuriais grindžiami iki šiol geriausiai veikiantys generaciniai modeliai: difuzija, kuri paprastai iliustruoja atsitiktinį elementų judėjimą, pavyzdžiui, šiluma prasiskverbia į kambarį arba dujos, besiplečiančios į erdvę, ir Puasono srautas, kuris remiasi elektros krūvių veiklą reglamentuojančius principus.
Dėl šio harmoningo mišinio sukuriami nauji vaizdai yra geresni, nei esami moderniausi modeliai. Nuo pat įkūrimo „Poisson Flow Generative Model ++“ (PFGM++) rado potencialų pritaikymą įvairiose srityse – nuo antikūnų ir RNR sekų generavimo iki garso ir grafikų generavimo. Darbas paskelbtas arXiv išankstinio spausdinimo serveris.
Modelis gali sukurti sudėtingus modelius, pvz., Kurti tikroviškus vaizdus arba imituoti realaus pasaulio procesus. PFGM++ remiasi PFGM, praėjusių metų komandos darbu. PFGM semiasi įkvėpimo iš matematinės lygties, žinomos kaip „Puasono“ lygtis, priemonių, o tada pritaiko ją duomenims, iš kurių modelis bando mokytis.
Norėdami tai padaryti, komanda panaudojo protingą triuką: jie pridėjo savo modelio „erdvę“ papildomos dimensijos, panašiai kaip pereinant nuo 2D eskizo prie 3D modelio. Šis papildomas matmuo suteikia daugiau erdvės manevruoti, pateikia duomenis didesniame kontekste ir padeda priartėti prie duomenų iš visų pusių generuojant naujus pavyzdžius.
„PFGM++ yra AI pažangos, kurią galima paskatinti tarpdisciplininiu fizikų ir kompiuterių mokslininkų bendradarbiavimu, pavyzdys“, – sako Jesse Thaler, MIT Branduolinių mokslų laboratorijos Teorinės fizikos centro teorinės fizikos centro dalelių fizikas ir Nacionalinio mokslo fondo AI direktorius. Dirbtinio intelekto ir pagrindinių sąveikų institutas (NSF AI IAIFI), kuris darbe nedalyvavo.
„Pastaraisiais metais dirbtiniu intelektu pagrįsti generatyviniai modeliai davė daug akį traukiančių rezultatų – nuo fotorealistinių vaizdų iki aiškių teksto srautų. Pažymėtina, kad kai kurie iš galingiausių generuojamųjų modelių yra pagrįsti laiko patikrintomis fizikos koncepcijomis, tokiomis kaip simetrija ir termodinamika“, – aiškina Thaleris.
„PFGM++ perima šimtmečio senumo idėją iš pagrindinės fizikos – kad gali būti papildomų erdvės laiko dimensijų – ir paverčia jį galingu ir patikimu įrankiu sintetiniams, bet tikroviškiems duomenų rinkiniams generuoti. Džiaugiuosi matydamas daugybę būdų. fizikos intelektas“ keičia dirbtinio intelekto sritį“.
Pagrindinis PFGM mechanizmas nėra toks sudėtingas, kaip gali atrodyti. Tyrėjai palygino duomenų taškus su mažais elektros krūviais, išdėstytais plokščioje plokštumoje išsiplėtusiame pasaulyje. Šie krūviai sukuria „elektrinį lauką“, o krūviai siekia judėti aukštyn išilgai lauko linijų į papildomą dimensiją ir todėl sudaro vienodą pasiskirstymą dideliame įsivaizduojamame pusrutulyje.
Generavimo procesas yra tarsi vaizdajuostės atsukimas: pradedant tolygiai paskirstytu krūvių rinkiniu pusrutulyje ir sekant jų kelionę atgal į plokščią plokštumą išilgai elektros linijų, jie išsilygina, kad atitiktų pradinį duomenų pasiskirstymą. Šis intriguojantis procesas leidžia neuroniniam modeliui išmokti elektrinį lauką ir generuoti naujus duomenis, kurie atspindi originalą.
PFGM++ modelis išplečia PFGM elektrinį lauką į sudėtingą, aukštesnių matmenų sistemą. Kai vis plečiate šiuos matmenis, nutinka kažkas netikėto – modelis pradeda panašėti į kitą svarbią modelių klasę – difuzijos modelius. Šis darbas skirtas rasti tinkamą pusiausvyrą. PFGM ir difuzijos modeliai yra priešinguose spektro galuose: vienas yra tvirtas, bet sudėtingas valdyti, kitas paprastesnis, bet ne toks tvirtas.
PFGM++ modelis yra mielas taškas, išlaikantis balansą tarp tvirtumo ir naudojimo paprastumo. Ši naujovė atveria kelią efektyvesniam vaizdų ir raštų generavimui, žymi reikšmingą žingsnį į priekį technologijų srityje. Kartu su reguliuojamais matmenimis mokslininkai pasiūlė naują mokymo metodą, leidžiantį efektyviau išmokti elektrinį lauką.
Kad ši teorija būtų įgyvendinta, komanda išsprendė porą diferencialinių lygčių, detalizuojančių šių krūvių judėjimą elektriniame lauke. Jie įvertino našumą naudodami Frechet pradinio atstumo (FID) balą – plačiai priimtą metriką, pagal kurią įvertinama modelio sugeneruotų vaizdų kokybė, palyginti su realiais. PFGM++ taip pat demonstruoja didesnį atsparumą klaidoms ir atsparumą diferencialinių lygčių žingsnio dydžiui.
Žvelgiant į ateitį, jie siekia patobulinti tam tikrus modelio aspektus, ypač sistemingais būdais, kad būtų galima nustatyti D „sweet spot” reikšmę, pritaikytą konkretiems duomenims, architektūroms ir užduotims, analizuojant neuroninių tinklų įvertinimo klaidų elgesį. Jie taip pat planuoja pritaikyti PFGM++ šiuolaikinei didelio masto teksto į vaizdą / teksto į vaizdo įrašą kartai.
„Difuzijos modeliai tapo svarbia generatyvaus AI revoliucijos varomąja jėga“, – sako „OpenAI“ mokslininkas Yang Song. „PFGM++ pateikia galingą difuzijos modelių apibendrinimą, leidžiantį vartotojams generuoti aukštesnės kokybės vaizdus pagerinant vaizdų generavimo atsparumą trikdžiams ir mokymosi klaidoms. Be to, PFGM++ atskleidžia stebėtiną ryšį tarp elektrostatikos ir difuzijos modelių, suteikiant naujų teorinių įžvalgų apie difuziją modelių tyrimai“.
„Poisson Flow generatyvūs modeliai remiasi ne tik elegantiška fizikos įkvėpta formule, pagrįsta elektrostatika, bet ir siūlo pažangiausią generacinio modeliavimo našumą praktikoje“, – sako NVIDIA vyresnysis mokslininkas Karstenas Kreisas, kuris nedalyvavo. darbe.
„Jie netgi lenkia populiarius sklaidos modelius, kurie šiuo metu dominuoja literatūroje. Dėl to jie yra labai galingas generacinio modeliavimo įrankis, todėl aš įsivaizduoju jų pritaikymą įvairiose srityse, pradedant skaitmeninio turinio kūrimu ir baigiant generatyviu vaistų atradimu. Apskritai manau, kad tolesnių fizikos įkvėptų generatyvinio modeliavimo sistemų tyrinėjimas žada daug ateities ir kad Poisson Flow generaciniai modeliai yra tik pradžia”, – priduria Kreisas.
Straipsnio apie šį darbą autoriai yra trys MIT magistrantai: Yilun Xu iš Elektros inžinerijos ir informatikos katedros (EECS) ir CSAIL, Ziming Liu iš Fizikos katedros ir NSF AI IAIFI bei Shangyuan Tong iš EECS ir CSAIL. , taip pat „Google“ vyresnysis mokslininkas Yonglong Tian, Ph.D. MIT profesoriai Maxas Tegmarkas ir Tommi Jaakkola patarė tyrimui.
Daugiau informacijos: Yilun Xu ir kt., PFGM++: fizikos įkvėptų generatyvinių modelių potencialo išlaisvinimas, arXiv (2023). DOI: 10.48550/arxiv.2302.04265
Žurnalo informacija: arXiv
Ši istorija iš naujo paskelbta „MIT News“ (web.mit.edu/newsoffice/), populiarios svetainės, kurioje pateikiamos naujienos apie MIT tyrimus, inovacijas ir mokymą, dėka.
Citata: Nuo fizikos iki generatyvaus dirbtinio intelekto: AI modelis pažangiam modelių generavimui (2023 m. rugsėjo 27 d.), gautas 2023 m. rugsėjo 28 d. iš https://techxplore.com/news/2023-09-physics-generative-ai-advanced-pattern.html
Šis dokumentas yra saugomas autorių teisių. Išskyrus bet kokius sąžiningus sandorius privačių studijų ar mokslinių tyrimų tikslais, jokia dalis negali būti atkuriama be raštiško leidimo. Turinys pateikiamas tik informaciniais tikslais.
