Daugiamatis skaičiavimas, diferencialinės lygtys, tiesinė algebra – temos, kurias daugelis MIT studentų gali įveikti nenusipelnę – nuolat trikdo mašininio mokymosi modelius. Geriausi modeliai galėjo atsakyti tik į pradinės ar vidurinės mokyklos lygio matematikos klausimus ir ne visada randa teisingus sprendimus.
Dabar daugiadalykė mokslininkų komanda iš MIT ir kitur, vadovaujamas MIT Elektros inžinerijos ir informatikos katedros (EECS) dėstytojo Iddo Drori, panaudojo neuroninio tinklo modelį, kad per kelias sekundes žmogaus lygmeniu išspręstų universiteto lygmens matematikos problemas.
Modelis taip pat automatiškai paaiškina sprendimus ir greitai generuoja naujas universiteto matematikos dalykų problemas. Kai tyrėjai universitetų studentams parodė šiuos mašininiu būdu sugeneruotus klausimus, studentai negalėjo pasakyti, ar klausimus sukūrė algoritmas, ar žmogus.
Šis darbas galėtų būti naudojamas turiniui supaprastinti. kartos kursams, kurie gali būti ypač naudingi dideliuose gyvenamuosiuose kursuose ir didžiuliuose atviruose internetiniuose kursuose (MOOC), kuriuose dalyvauja tūkstančiai studentų. Sistema taip pat gali būti naudojama kaip automatizuotas dėstytojas, rodantis studentams žingsnius sprendžiant bakalauro matematikos uždavinius.
„Manome, kad tai pagerins aukštąjį mokslą“, – sako pagrindinis darbo autorius Drori. kuris taip pat yra Kolumbijos universiteto Kompiuterių mokslų katedros docentas ir šią vasarą prisijungs prie Bostono universiteto fakulteto. „Tai padės studentams tobulėti, o mokytojams kurti naują turinį, o kai kuriuose kursuose tai gali padėti padidinti sudėtingumo lygį. Tai taip pat leidžia mums sudaryti klausimų ir kursų grafiką, kuris padeda suprasti kursų ir jų išankstinių sąlygų ryšį ne tik juos istoriškai apmąstant, bet ir remiantis duomenimis.“
) Darbas yra bendradarbiavimas, apimantis MIT, Kolumbijos universiteto, Harvardo universiteto ir Vaterlo universiteto studentus, tyrėjus ir dėstytojus. Vyresnysis autorius yra Gilbertas Strangas, MIT matematikos profesorius. Tyrimas šią savaitę paskelbtas Nacionalinės mokslų akademijos darbuose.
„Eureka“ akimirka
Drori ir jo mokiniai bei kolegos prie šio projekto dirbo beveik dvejus metus. Jie nustatė, kad modeliai, iš anksto apmokyti naudojant tik tekstą, negali atlikti geresnio nei 8 procentų tikslumo vidurinės mokyklos matematikos uždaviniuose, o tie, kurie naudoja grafinius neuroninius tinklus, gali atsakyti į mašininio mokymosi kurso klausimus, tačiau juos apmokyti užtruks savaitę.
Tada Drori patyrė tai, ką jis apibūdina kaip „eureka“: jis nusprendė pabandyti atsakyti į klausimus iš MIT siūlomų bakalauro matematikos kursų ir iš Kolumbijos universiteto, kurių modelis niekada nematė, paversdamas juos programavimo užduotimis. , ir taikant metodus, žinomus kaip programų sintezė ir kelių kadrų mokymasis. Klausimą paversti programavimo užduotimi gali būti taip paprasta, kaip klausimą „rasti atstumą tarp dviejų taškų“ perrašyti į „parašyti programą, kuri nustato skirtumą tarp dviejų taškų“ arba pateikti keletą klausimų ir programų porų kaip pavyzdžius.
Tačiau prieš pateikdami šias programavimo užduotis į neuroninį tinklą, mokslininkai pridėjo naują žingsnį, kuris leido jam gerokai pranokti ankstesnius bandymus.
Anksčiau jie ir kiti, kurie kreipėsi į šią problemą, naudojo neuroninį tinklą, pvz., GPT-3, kuris buvo iš anksto paruoštas tik tekstui, o tai reiškia, kad buvo parodyta milijonai teksto pavyzdžių, kad išmoktų natūralios kalbos modelius. Šį kartą jie naudojo neuroninį tinklą, iš anksto paruoštą tekstui, kuris taip pat buvo „tiksliai sureguliuotas“ kodu. Šį tinklą, pavadintą Codex, sukūrė OpenAI. Tikslus derinimas iš esmės yra dar vienas paruošiamasis žingsnis, galintis pagerinti mašininio mokymosi modelio našumą.
Iš anksto parengtam modeliui buvo parodyta daugybė internetinių saugyklų kodo pavyzdžių. Kadangi šio modelio mokymo duomenys apėmė milijonus natūralios kalbos žodžių ir milijonus kodo eilučių, jis išmoksta ryšius tarp teksto dalių ir kodo dalių.
Galima išspręsti daugybę matematikos problemų. naudojant skaičiavimo grafiką ar medį, tačiau sunku tekste parašytą problemą paversti tokio tipo vaizdavimu, aiškina Drori. Kadangi šis modelis išmoko teksto ir kodo ryšius, jis gali paversti tekstinį klausimą kodu, pateikdamas tik kelis klausimo kodo pavyzdžius, o tada paleisti kodą, kad atsakytų į problemą.
„Kai tiesiog užduodate klausimą tekste, mašininio mokymosi modeliui sunku sugalvoti atsakymą, nors atsakymas gali būti tekste“, – sako jis. „Šis darbas užpildo tą trūkstamą kodo ir programos sintezės dalį.“
Šis darbas yra pirmasis, išsprendžiantis bakalauro matematikos uždavinius ir perkeliamas nuo 8 procentų tikslumo iki daugiau proc., priduria Drori.
Konteksto pridėjimas
Matematikos klausimus paversti programavimo užduotimis ne visada paprasta, sako Drori. Kai kurios problemos reikalauja, kad mokslininkai pridėtų kontekstą, kad neuroninis tinklas galėtų tinkamai apdoroti klausimą. Studentas suprastų šį kontekstą klausydamas kurso, tačiau neuroninis tinklas neturi šių pagrindinių žinių, nebent tyrėjai to nurodo.
Pavyzdžiui, jiems gali tekti paaiškinti, kad „Tinklas“ klausimo tekste reiškia „neuroninius tinklus“, o ne „ryšių tinklus“. Arba jiems gali tekti nurodyti modeliui, kurį programavimo paketą naudoti. Jiems taip pat gali tekti pateikti tam tikrus apibrėžimus; į klausimą apie pokerio rankas, jiems gali reikėti pasakyti modeliui, kad kiekvienoje kaladėje yra 52 kortos.
Jie automatiškai paduoda šiuos programavimus užduotis su įtrauktu kontekstu ir pavyzdžiais į iš anksto paruoštą ir tiksliai suderintą neuroninį tinklą, kuris išveda programą, kuri paprastai pateikia teisingą atsakymą. Tai buvo teisinga daugiau nei 80 procentams klausimų.
Tyrėjai taip pat naudojo savo modelį klausimams generuoti, suteikdami neuroniniam tinklui matematikos uždavinių serija tam tikra tema, o tada paprašyti sukurti naują.
„Kai kuriose temose tai mus nustebino. Pavyzdžiui, buvo klausimų apie horizontalių ir vertikalių linijų kvantinį aptikimą ir atsirado naujų klausimų apie kvantinį įstrižinių linijų aptikimą. Taigi, tai nėra tik naujų klausimų generavimas pakeičiant reikšmes ir kintamuosius esamuose klausimuose“, – sako Drori.
Žmogaus sukurta prieš mašiną. generuoti klausimai
Tyrėjai išbandė mašininiu būdu sugeneruotus klausimus rodydami juos universiteto studentams. Mokslininkai atsitiktine tvarka davė studentams klausimus iš kiekvieno bakalauro matematikos kurso; penkis sukūrė žmonės, o penkis – mašinomis.
Studentai negalėjo pasakyti, ar mašinomis sugeneruotus klausimus sukūrė algoritmas, ar žmogus, ir jie pateikė žmogaus sukurtus ir mašininiu būdu sukurti klausimai, panašūs įvertinimai už sudėtingumo lygį ir kurso tinkamumą.
Drori greitai pažymi, kad šiuo darbu neketinama pakeisti žmonių profesorių.
„Automatika dabar yra 80 procentų, bet automatizavimas niekada nebus 100 procentų tikslus. Kiekvieną kartą, kai ką nors išspręsite, kažkas pateiks sunkesnį klausimą. Tačiau šis darbas atveria lauką žmonėms pradėti spręsti sunkesnius ir sunkesnius klausimus naudodamiesi mašininiu mokymusi. Manome, kad tai turės didelį poveikį aukštajam mokslui“, – sako jis.
Komanda džiaugiasi sėkmingu savo metodu ir išplėtė darbą, kad tvarkytų matematikos įrodymus, tačiau yra keletas apribojimų, kuriuos jie planuoja pašalinti. Šiuo metu modelis negali atsakyti į klausimus naudodamas vaizdinį komponentą ir negali išspręsti problemų, kurios dėl skaičiavimo sudėtingumo yra sunkiai išsprendžiamos.
Be šių kliūčių įveikimo, jie stengiasi, kad modelio mastelį iki šimtų kursų. Su šiais šimtais kursų jie generuos daugiau duomenų, kurie gali pagerinti automatizavimą ir suteikti įžvalgų apie kursų dizainą ir mokymo programas.
52
