Paveikslas, kuriame apibendrinamas „priminimo“ procesas. Kreditas: Sangjun Park & JinYeong Bak. Transformatoriai yra mašininio mokymosi modeliai, skirti atskleisti ir sekti nuoseklių duomenų, pvz., teksto sekų, šablonus. Pastaraisiais metais šie modeliai tapo vis sudėtingesni ir sudaro populiarių pokalbių platformų, tokių kaip „ChatGPT“, stuburą,
Nors esami transformatoriai pasiekė gerų rezultatų atliekant įvairias užduotis, apdorojant ilgesnes sekas, jų našumas dažnai gerokai sumažėja. Taip yra dėl ribotos saugojimo talpos arba, kitaip tariant, nedidelio duomenų kiekio, kurį jie gali saugoti ir analizuoti vienu metu.
Pietų Korėjos Sungkyunkwan universiteto mokslininkai neseniai sukūrė naują atminties sistemą, kuri galėtų padėti pagerinti transformatorių našumą atliekant sudėtingesnes užduotis, kurioms būdingos ilgesnės duomenų sekos. Ši sistema, pristatyta dokumente, paskelbtame arXiv išankstinio spausdinimo serveris, yra įkvėptas iškilios žmogaus atminties teorijos, žinomos kaip Hebbian teorija.
„Transformatoriai kovoja su ilgomis įvesties sekomis dėl riboto pajėgumo“, – savo darbe rašė Sangjun Park ir JinYeong Bak. „Nors vienas sprendimas yra padidinti įvesties ilgį, be galo ilginti ilgį yra nerealu. Be to, žmonės selektyviai atsimena ir naudoja tik svarbią informaciją iš įvesties, skirtingai nei transformatoriai, kurie apdoroja visus neapdorotus duomenis nuo pradžios iki pabaigos.”
Pagrindinis naujausio Parko, Bako ir jų kolegų darbo tikslas buvo sukurti sistemą, kuri galėtų pagerinti transformatorių modelių galimybes, naudojant nusistovėjusią neuropsichologinę teoriją. Ši teorija, žinoma kaip Hebbian teorija, iš esmės rodo, kad neuronai ir ląstelės, kurios nuolat aktyvuojamos kartu, yra linkusios susieti, o šios asociacijos galiausiai veda į mokymąsi.
„Pristatome „Memoria“ – bendrąjį atminties tinklą, kuriame taikoma Hebbian teorija, kuri yra pagrindinė teorija, paaiškinanti žmogaus atminties formulavimą, siekiant sustiprinti ilgalaikę priklausomybę nuo neuroninių tinklų“, – savo darbe aiškina Parkas ir Bakas. „Memoria saugo ir nuskaito informaciją, vadinamą engrama, įvairiuose darbinės atminties, trumpalaikės ir ilgalaikės atminties lygiuose, naudodama ryšio svorius, kurie keičiasi pagal Hebbo taisyklę.
Iki šiol mokslininkai įvertino savo Hebbian atminties sistemą atlikdami daugybę eksperimentų ir pasiekė labai daug žadančių rezultatų. Nustatyta, kad atmintis žymiai pagerina transformatorių našumą atliekant įvairias užduotis, susijusias su ilgų duomenų sekų apdorojimu.
„Eksperimentuodami su populiariais transformatoriniais modeliais, tokiais kaip BERT ir GPT, pristatome, kad „Memoria“ žymiai pagerina gebėjimą atsižvelgti į ilgalaikes priklausomybes atliekant įvairias užduotis“, – savo darbe rašė mokslininkai. „Rezultatai rodo, kad „Memoria“ pranoko esamas rūšiavimo ir kalbos modeliavimo bei ilgo teksto klasifikavimo metodikas.
Šių tyrėjų sukurta daug žadanti atminties architektūra netrukus galėtų būti išbandyta atliekant platesnį sudėtingų užduočių spektrą, kad būtų toliau tiriamas jos potencialas. Be to, kitos tyrimų grupės visame pasaulyje netrukus galėtų pradėti jį naudoti, kad padidintų savo transformatorių modelių našumą.
Parko ir Bako parašytas kodas yra atvirojo kodo ir jį galima lengvai pasiekti „GitHub“. Atlikdami tyrimą, mokslininkai įdiegė „Memoria“ naudodami nepriklausomą „Python“ paketą, kuris dar labiau palengvina kūrėjų naudojimą visame pasaulyje.
Daugiau informacijos: Sangjun Park ir kt., „Memoria: Hebbian Memory Architecture for Humanlike Sequential Processing“, arXiv (2023). DOI: 10.48550/arxiv.2310.03052
Žurnalo informacija: arXiv
© „Science X Network“, 2023 m
Citata: Hebbian atmintis, kuri pasiekia žmones panašių rezultatų atliekant nuoseklias apdorojimo užduotis (2023 m. spalio 19 d.), gauta 2023 m. spalio 19 d. iš https://techxplore.com/news/2023-10-hebbian-memory-human-like-results-sequential .html
Šis dokumentas yra saugomas autorių teisių. Išskyrus bet kokius sąžiningus sandorius privačių studijų ar mokslinių tyrimų tikslais, jokia dalis negali būti atkuriama be raštiško leidimo. Turinys pateikiamas tik informaciniais tikslais.
