Grafinė abstrakcija. Kreditas: Ląstelių ataskaitos, fiziniai mokslai (2023). DOI: 10.1016/j.xcrp.2023.101672 Šiuo metu, kai akademinė bendruomenė kelia didelį susirūpinimą dėl dirbtinio intelekto sukurtų rašinių, Kanzaso universiteto yra raminančių naujienų.
Mokslininkai sukūrė AI teksto detektorių moksliniams rašiniams, kuris beveik 100% laiko gali atskirti žmogaus parašytą ir kompiuterio sukurtą turinį.
Tyrime, kuris pasirodė lapkričio 6 d Ląstelių ataskaitos, fiziniai mokslaiprofesorė Heather Desaire pažymėjo, kad nors šiuo metu yra keletas AI detektorių, skirtų bendrajam turiniui, nė vienas nėra ypač geras, kai jis taikomas moksliniams darbams.
„Dauguma teksto analizės srities nori tikrai bendro detektoriaus, kuris veiktų bet ką”, – sakė Desaire’as. Vietoj to, jos komanda domėjosi pranešimais, specialiai parašytiems moksliniams žurnalams chemijos tema.
„Mes tikrai siekėme tikslumo“, – sakė ji.
Komandos detektorius buvo apmokytas Amerikos chemijos draugijos išleistuose žurnaluose. Jie surinko 100 įvadinių ištraukų, kurių autoriai yra profesionalai, o po to užprogramavo ChatGPT, kad parašytų savo įvadus pagal žurnalų santraukas arba tiesiog ataskaitų pavadinimus.
Kai „ChatGPT“ detektorius nuskenavo trijų kategorijų ataskaitas, jis 100 % laiko teisingai identifikavo žmogaus sukurtas ištraukas, taip pat ataskaitas, sugeneruotas iš raginimų, įskaitant tik ataskaitų pavadinimus. Rezultatai buvo beveik tokie pat geri, kai ataskaitose buvo remiamasi įžanginėmis ištraukomis, o 98 % atvejų buvo nustatyta teisinga identifikacija.
Tačiau konkuruojantis klasifikatorius, pvz., ZeroGPT, kuris gali pasigirti 98% tikslumu aptikdamas bendruosius AI parašytus rašinius, pasirodė prastai, kai kalbama apie su chemija susijusias ataskaitas. Jis pasiekė tik vidutinį 37 % tikslumo rodiklį tose pačiose ataskaitose, pagrįstose pavadinimais, ir tik keliais procentiniais punktais geriau ataskaitose, pagrįstose įvadiniu tekstu.
Antrajam konkurentui – OpenAI – sekėsi dar blogiau, nes vidutiniškai 80 % atvejų nepavyko teisingai nustatyti esė autorystės.
„Akademinės leidyklos kovoja su greitu ir plačiai paplitusiu naujų dirbtinio intelekto teksto generatorių pritaikymu“, – sakė Desaire’as. „Šis naujas detektorius leis mokslo bendruomenei įvertinti ChatGPT įsiskverbimą į chemijos žurnalus, nustatyti jo naudojimo pasekmes ir, iškilus problemoms, greitai įdiegti švelninimo strategijas.
Moksliniai žurnalai perrašo savo taisykles, susijusias su straipsnių pateikimu, dauguma uždraudžia AI generuojamas ataskaitas ir reikalauja atskleisti visus kitus AI procesus, naudojamus rengiant ataskaitą.
Desaire’as išvardijo kelis susirūpinimą keliančius klausimus dėl AI sukurto turinio įsiskverbimo į mokslinius žurnalus: „Jų per didelis naudojimas gali sukelti nežymiai vertingų rankraščių antplūdį. Dėl jų gali būti per daug cituojami straipsniai ir atsiranda naujų darbų, kurie dar nėra gerai žinomi. , būti ignoruojamas“.
„Labiausiai kelia nerimą, – pridūrė ji, – tai, kad šie įrankiai yra linkę į „haliucinacijas“, kurie sukuria netikrus faktus.
Kaip iliustraciją Desaire įtraukė asmeninį anekdotą apie ChatGPT parašyto biografinio eskizo apie ją rezultatus. Jame rašoma, kad ji „baigė Minesotos universitetą, yra Karališkosios chemijos draugijos narė ir laimėjo Biemanno medalį“. Įspūdingi pasiekimai, bet visi klaidingi.
„Nors šis pavyzdys juokingas, – sakė Desaire’as, – prasiskverbti į mokslinę literatūrą netiesos toli gražu nėra juokinga.
Tačiau ji išlieka optimistiška. Kai kurie sako, kad priešintis dirbtinio intelekto sukurto turinio atsiradimui yra neišvengiama, sakė ji, ir jie teigia, kad „tokių įrankių kūrimas kaip šis dalyvauja ginklavimosi varžybose. [against AI] kad žmonės nelaimės“.
Ji sakė, kad redaktoriai turi imtis iniciatyvos nustatant AI užterštumą.
„Žurnalai turėtų imtis pagrįstų veiksmų siekdami užtikrinti, kad būtų laikomasi jų politikos dėl AI rašymo, ir manome, kad visiškai įmanoma išvengti AI aptikimo problemos“, – sakė ji.
Daugiau informacijos: Heather Desaire ir kt., Tikslus AI teksto aptikimas, kai ChatGPT liepiama rašyti kaip chemikas, Ląstelių ataskaitos, fiziniai mokslai (2023). DOI: 10.1016/j.xcrp.2023.101672
© „Science X Network“, 2023 m
Citata: įrankis aptinka dirbtinio intelekto sukurtą tekstą mokslo žurnaluose (2023 m. lapkričio 7 d.), gautą 2023 m. lapkričio 7 d. iš https://techxplore.com/news/2023-11-tool-ai-generated-text-science-journals.html
Šis dokumentas yra saugomas autorių teisių. Išskyrus bet kokius sąžiningus sandorius privačių studijų ar mokslinių tyrimų tikslais, jokia dalis negali būti atkuriama be raštiško leidimo. Turinys pateikiamas tik informaciniais tikslais.
