Giliųjų cheminių modelių neuronų mastelio ryšių atradimas. a,bPer modelių kandidatų domeną (a), galutinis, konverguotas modelio praradimas numatomas tik iš kelių pradinių didelio masto modelių mokymo epochų (b). c, Neoptimalios modelių architektūros ir hiperparametrų konfigūracijos nustatomos anksti mokymo metu, todėl galima efektyviai pasirinkti idealią architektūrą ir hiperparametrus. Tada modelis su geriausiais hiperparametrais apmokomas naudojant skirtingus modelių ir duomenų rinkinių dydžius, kad būtų galima atrasti neuroninio mastelio ryšius. Kreditas: Gamtos mašinos intelektas (2023). DOI: 10.1038/s42256-023-00740-3 Gilieji neuroniniai tinklai (DNN) pasirodė esąs daug žadančios priemonės dideliems duomenų kiekiams analizuoti, o tai galėtų paspartinti įvairių mokslo sričių tyrimus. Pavyzdžiui, per pastaruosius kelerius metus kai kurie kompiuterių mokslininkai apmokė modelius, pagrįstus šiais tinklais, kad galėtų analizuoti cheminius duomenis ir nustatyti perspektyvias chemines medžiagas įvairioms reikmėms.
Masačusetso technologijos instituto (MIT) mokslininkai neseniai atliko tyrimą, kuriame buvo tiriamas didelių DNN modelių, išmokytų generuoti naudingas chemines kompozicijas ir išmokti tarpatominio potencialo, nervinio mastelio keitimo elgseną. Jų darbas, paskelbtas m Gamtos mašinos intelektasparodo, kaip greitai gali pagerėti šių modelių našumas, nes didėja jų dydis ir apmokytų duomenų bazė.
„Kaplan ir kt. dokumentas „Neuroninės kalbos modelių mastelio dėsniai“ buvo pagrindinis mūsų tyrimų įkvėpėjas“, – „Tech Xplore“ pasakojo Nathanas Frey, vienas iš tyrimą atlikusių tyrėjų. „Tas dokumentas parodė, kad padidinus neuroninio tinklo dydį ir treniruojamų duomenų kiekį, galima nuspėti modelių mokymo patobulinimus. Norėjome pamatyti, kaip „neuronų mastelio keitimas” taikomas modeliams, parengtiems remiantis chemijos duomenimis, tokioms programoms kaip vaistų atradimas. “.
Frey ir jo kolegos prie šio tyrimo projekto pradėjo dirbti dar 2021 m., taigi prieš išleidžiant garsiąsias dirbtinio intelekto platformas ChatGPT ir Dall-E 2. Tuo metu būsimas DNN didinimas buvo suvokiamas kaip ypač aktualus kai kuriose srityse ir tyrimų, nagrinėjančių jų mastelį fizinių ar gyvosios gamtos mokslų srityse, buvo nedaug.
Tyrėjų tyrimas tiria dviejų skirtingų tipų cheminių duomenų analizės modelių neuronų mastelį: didelės kalbos modelio (LLM) ir grafinio neuroninio tinklo (GNN) modelio. Šie du skirtingi modelių tipai gali būti naudojami kuriant chemines kompozicijas ir atitinkamai sužinoti apie potencialą tarp skirtingų cheminių medžiagų atomų.
„Mes ištyrėme du labai skirtingus modelių tipus: autoregresyvų, GPT stiliaus kalbos modelį, kurį sukūrėme pavadinimu „ChemGPT“, ir GNN šeimą“, – paaiškino Frey. „ChemGPT buvo apmokytas taip pat, kaip ChatGPT, bet mūsų atveju ChemGPT bando numatyti kitą žetoną eilutėje, kuri reiškia molekulę. GNN yra išmokyti numatyti molekulės energiją ir jėgas.”
Siekdami ištirti ChemGPT modelio ir GNN mastelio keitimą, Frey ir jo kolegos ištyrė modelio dydžio ir duomenų rinkinio, naudojamo jį apmokyti pagal įvairias svarbias metrikas, dydį. Tai leido jiems nustatyti greitį, kuriuo šie modeliai tobulėja, kai jie tampa didesni ir tiekiami daugiau duomenų.
„Mes randame cheminių modelių „nervų mastelio keitimo elgseną“, primenančią mastelio keitimo elgseną, matomą LLM ir regėjimo modeliuose įvairioms programoms“, – sakė Frey.
„Mes taip pat parodėme, kad nesame arti jokios esminės cheminių modelių mastelio keitimo ribos, todėl dar yra daug erdvės toliau tirti naudojant daugiau skaičiavimų ir didesnių duomenų rinkinių. Fizikos įtraukimas į GNN naudojant savybę, vadinamą „ekvivariacija“, yra dramatiškas poveikis didinant mastelio keitimo efektyvumą, o tai yra jaudinantis rezultatas, nes iš tikrųjų gana sunku rasti algoritmus, kurie pakeistų mastelio keitimo elgesį.
Apskritai šios tyrėjų komandos surinktos išvados atskleidė dviejų tipų dirbtinio intelekto modelių potencialą atliekant chemijos tyrimus, parodydami, kiek jų našumas gali pagerėti, kai jie didinami. Šis darbas netrukus galėtų padėti atlikti papildomus tyrimus, kuriuose nagrinėjamas šių modelių, taip pat kitų DNN pagrįstų metodų, skirtų konkrečioms mokslinėms reikmėms, tobulinimo pažadas ir riba.
„Nuo tada, kai mūsų darbas pasirodė pirmą kartą, jau buvo įdomus tolesnis darbas, tiriantis cheminių modelių mastelio keitimo galimybes ir apribojimus“, – pridūrė Frey. „Visai neseniai aš taip pat dirbau su generatyviais baltymų projektavimo modeliais ir galvojau apie tai, kaip mastelio keitimas veikia biologinių duomenų modelius.
Daugiau informacijos: Nathan C. Frey ir kt., Neuroninis giluminių cheminių modelių skalavimas, Gamtos mašinos intelektas (2023). DOI: 10.1038/s42256-023-00740-3
© „Science X Network“, 2023 m
Citata: tyrime nagrinėjamas giluminio mokymosi modelių mastelio keitimas chemijos tyrimams (2023 m. lapkričio 11 d.), gautas 2023 m. lapkričio 11 d. iš https://techxplore.com/news/2023-11-explores-scaling-deep-chemistry.html
Šis dokumentas yra saugomas autorių teisių. Išskyrus bet kokius sąžiningus sandorius privačių studijų ar mokslinių tyrimų tikslais, jokia dalis negali būti atkuriama be raštiško leidimo. Turinys pateikiamas tik informaciniais tikslais.
