Kreditas: Melanie Deziel / Unsplash Silicio slėnyje siautėjant „pokalbių robotų karams“, augantis dirbtinio intelekto (AI) įrankių, specialiai sukurtų į žmogų panašaus teksto generavimui, plitimas daugelį suglumino.
Pedagogai ypač stengiasi prisitaikyti prie programinės įrangos, kuri akimirksniu gali parengti vidutiniškai kompetentingą esė bet kuria tema. Ar turėtume grįžti prie rašiklio ir popieriaus vertinimų? Didinti egzaminų priežiūrą? Visiškai uždrausti naudoti AI?
Visa tai ir dar daugiau buvo pasiūlyta. Tačiau nė vienos iš šių mažiau nei idealių priemonių nereikėtų, jei pedagogai galėtų patikimai atskirti dirbtinio intelekto sukurtą ir žmogaus parašytą tekstą.
Mes įsigilinome į keletą siūlomų AI sukurto teksto atpažinimo metodų ir įrankių. Nė vienas iš jų nėra patikimas, visi yra pažeidžiami sprendimų, ir mažai tikėtina, kad jie kada nors bus tokie patikimi, kaip norėtume.
Galbūt jums įdomu, kodėl pasaulyje pirmaujančios dirbtinio intelekto įmonės negali patikimai atskirti savo mašinų gaminių nuo žmonių darbo. Priežastis juokingai paprasta: įmonės misija šiuolaikinėse didelės apimties dirbtinio intelekto grupėse yra išmokyti „natūralios kalbos procesorių“ (NLP) dirbtinį intelektą, kad jie būtų kuo panašesni į žmogaus rašymą. Iš tiesų, visuomenės reikalavimai lengvai nustatyti tokius AI laukinėje gamtoje gali atrodyti paradoksaliai, tarsi mes nepastebėtume visos programos esmės.
Vidutinės pastangos
„OpenAI“ – „ChatGPT“ kūrėjas – sausio pabaigoje paleido „klasifikatorių, skirtą AI parašytam tekstui nurodyti“.
Klasifikatorius buvo apmokytas naudoti išorinius AI ir pačios įmonės teksto generavimo variklius. Teoriškai tai reiškia, kad ji turėtų turėti galimybę pažymėti rašinius, sugeneruotus naudojant BLOOM AI ar panašius, o ne tik tuos, kuriuos sukūrė ChatGPT.
Šiam klasifikatoriui geriausiu atveju suteikiame C– klasę. OpenAI pripažįsta, kad tiksliai identifikuoja tik 26 % dirbtinio intelekto sukurto teksto (tikras teigiamas), o 9 % atvejų neteisingai pažymi žmogaus prozą kaip AI sukurtą (klaidingai teigiama).
„OpenAI“ nepasidalijo savo tyrimais apie tai, kaip dirbtinio intelekto sukurtas tekstas neteisingai pažymimas kaip žmogaus sukurtas tekstas (klaidingai neigiamas).
Perspektyvus varžovas
Perspektyvesnis varžovas – Prinstono universiteto studento per Kalėdų atostogas sukurtas klasifikatorius.
Edvardas Tianas, informatikos specialistas, pagrindinis žurnalistikos specialybės specialistas, sausio mėnesį išleido pirmąją GPTZero versiją.
Ši programa identifikuoja AI autorystę pagal du veiksnius: sumišimą ir sprogimą. Sumaištis matuoja, koks sudėtingas tekstas, o ryškumas lygina sakinių skirtumus. Kuo mažesnės šių dviejų veiksnių reikšmės, tuo didesnė tikimybė, kad tekstą sukūrė dirbtinis intelektas.
Supriešinome šį kuklų Dovydą su ChatGPT galijotu.
Pirma, mes paskatinome ChatGPT sukurti trumpą esė apie teisingumą. Toliau straipsnį nepakeistą nukopijavome į GPTZero. Tiano įrankis teisingai nustatė, kad tekstą tikriausiai parašė tik dirbtinis intelektas, nes jo vidutiniai sumišimo ir trūkumo balai buvo labai žemi.
GPTZero įvertina teksto sudėtingumą ir įvairovę, kad nustatytų, ar jis gali būti sukurtas dirbtinio intelekto. Kreditas: GTPZero
Klasifikatorių klaidinimas
Lengvas būdas suklaidinti AI klasifikatorius yra tiesiog pakeisti kelis žodžius sinonimais. Svetainių, siūlančių įrankius, perfrazuojančius dirbtinio intelekto sukurtą tekstą šiam tikslui, jau daugėja visame internete.
Daugelis šių įrankių rodo savo AI dovanų rinkinį, pvz., žmonių prozą papildo „kankintomis frazėmis“ (pavyzdžiui, vietoj „AI“ naudojamas „padirbta sąmonė“).
Norėdami toliau išbandyti GPTZero, nukopijavome „ChatGPT“ teisingumo esė į GPT-Minus1 – svetainę, kurioje siūloma „maišyti“ ChatGPT tekstą su sinonimais. Kairėje esančiame paveikslėlyje pavaizduota originali esė. Paveikslėlyje dešinėje rodomi GPT-Minus1 pakeitimai. Tai pakeitė apie 14% teksto.
GPT-Minus1 atlieka nedidelius teksto pakeitimus, kad jis atrodytų mažiau sukurtas dirbtinio intelekto. Kreditas: GPT-Minus1 Tada nukopijavome teisingumo esė GPT-Minus1 versiją atgal į GPTZero. Jo verdiktas?
„Jūsų tekstas greičiausiai yra žmogaus parašytas, tačiau yra keletas sakinių, turinčių mažai abejonių.
Jame buvo paryškintas tik vienas sakinys, kurį, jo manymu, turėjo didelė tikimybė, kad jį parašė dirbtinis intelektas (žr. paveikslėlį apačioje kairėje), kartu su ataskaita apie bendrą esė sumišimo ir trūkumo balus, kurie buvo daug didesni (žr. paveikslėlį apačioje dešinėje).
Paleidus dirbtinio intelekto sukurtą tekstą naudojant AI apgaudinėjimo įrankį, jis atrodo „žmogiškesnis“. Kreditas: GPTZero Įrankiai, tokie kaip Tian’s, yra daug žadantys, tačiau jie nėra tobuli ir yra pažeidžiami dėl problemų sprendimo būdų. Pavyzdžiui, neseniai išleistoje „YouTube“ mokymo programoje paaiškinama, kaip paskatinti „ChatGPT“ sukurti tekstą, turintį didelį sumišimą ir trūkumą.
Vandens ženklai
Kitas pasiūlymas yra, kad dirbtinio intelekto parašytame tekste būtų „vandens ženklas“, kuris yra nematomas skaitytojams, bet gali būti paimtas programine įranga.
Natūralios kalbos modeliai veikia kaip žodis po žodžio. Jie pasirenka, kurį žodį generuoti pagal statistinę tikimybę.
Tačiau jie ne visada pasirenka žodžius, kurie turi didžiausią tikimybę pasirodyti kartu. Vietoj to, iš tikėtinų žodžių sąrašo jie pasirenka vieną atsitiktinai (nors labiau tikėtina, kad bus atrinkti žodžiai, kurių tikimybės balas didesnis).
Tai paaiškina, kodėl vartotojai gauna skirtingą išvestį kiekvieną kartą, kai generuoja tekstą naudodami tą patį raginimą.
Viena iš OpenAI natūralios kalbos modelio sąsajų (Playground) suteikia vartotojams galimybę matyti pasirinktų žodžių tikimybę. Aukščiau pateiktoje ekrano kopijoje (nufotografuota 2023 m. vasario 1 d.) matome, kad tikimybė, kad terminas „moralas“ bus pasirinktas, yra 2,45%, o tai yra daug mažesnė nei „lygybė“ su 36,84%. Kreditas: OpenAI Playground Paprasčiau tariant, vandenženklis apima kai kurių galimų žodžių „juodąjį sąrašą“ ir leidimą AI pasirinkti žodžius tik iš „baltojo sąrašo“. Atsižvelgiant į tai, kad žmogaus parašytame tekste greičiausiai bus žodžių iš „juodojo sąrašo“, tai gali leisti jį atskirti nuo dirbtinio intelekto sukurto teksto.
Tačiau vandens ženklai taip pat turi apribojimų. AI sukurto teksto kokybė gali pablogėti, jei jo žodynas būtų apribotas. Be to, kiekvienas teksto generatorius greičiausiai turės skirtingą vandens ženklų sistemą, todėl tekstas būtų lyginamas su visais.
Vandenženklį taip pat galima apeiti naudojant perfrazavimo priemones, kurios gali įterpti žodžius į juodąjį sąrašą arba perfrazuoti esė klausimus.
Vyksta ginklavimosi varžybos
Dirbtinio intelekto sukurti teksto detektoriai taps vis sudėtingesni. Kovos su plagiatu paslauga TurnItIn neseniai paskelbė apie būsimą AI rašymo detektorių, kurio tikslumas yra 97%.
Tačiau teksto generatoriai taip pat taps sudėtingesni. „Google“ „ChatGPT“ konkurentas Bardas yra iš anksto viešai bandomas. Tikimasi, kad pati OpenAI vėliau šiais metais išleis didelį atnaujinimą GPT-4.
Niekada nebus įmanoma padaryti dirbtinio intelekto teksto identifikatorių tobulų, kaip pripažįsta net OpenAI, ir visada bus naujų būdų juos suklaidinti.
Tęsiantis šioms ginklavimosi varžyboms galime pastebėti „sutarčių perfrazavimo“ paplitimą: užuot mokėję kam nors už tai, kad jis parašytų jūsų užduotį, mokate kam nors, kad jis pakeistų jūsų dirbtinio intelekto sukurtą užduotį, kad ji praeitų pro detektorius.
Čia nėra lengvų atsakymų pedagogams. Techniniai pataisymai gali būti sprendimo dalis, bet taip pat bus nauji mokymo ir vertinimo būdai (kurie gali apimti AI galios panaudojimą).
Mes tiksliai nežinome, kaip tai atrodys. Tačiau praėjusius metus praleidome kurdami atvirojo kodo AI įrankių, skirtų švietimui ir tyrimams, prototipus, siekdami padėti pereiti tarp senojo ir naujojo, o beta versijas galite pasiekti naudodami Safe-To-Fail AI.
Šis straipsnis iš naujo paskelbtas iš The Conversation pagal Creative Commons licenciją. Skaitykite originalų straipsnį.
Citata: palyginome „ChatGPT“ su įrankiais, skirtais dirbtinio intelekto parašyto teksto aptikimui, o rezultatai kelia nerimą (2023 m. vasario 20 d.), gauta 2023 m. vasario 21 d. iš https://techxplore.com/news/2023-02-pitted-chatgpt-tools-ai -rašytinis tekstas.html
Šis dokumentas yra saugomas autorių teisių. Išskyrus bet kokius sąžiningus sandorius privačių studijų ar mokslinių tyrimų tikslais, jokia dalis negali būti atkuriama be raštiško leidimo. Turinys pateikiamas tik informaciniais tikslais.
