Kreditas: CC0 viešasis domenas Ar AI galima pasitikėti? Klausimas iškyla visur, kur naudojamas ar aptariamas AI, kurio šiais laikais yra visur.
Tai klausimas, kurį sau užduoda net kai kurios AI sistemos.
Daugelis mašininio mokymosi sistemų sukuria tai, ką ekspertai vadina „pasitikėjimo balu“, vertę, atspindinčią sistemos pasitikėjimą savo sprendimais. Žemas balas vartotojui rodo, kad dėl rekomendacijos yra tam tikro netikrumo; aukštas balas vartotojui rodo, kad sistema yra bent jau tikra dėl savo sprendimų. Išmintingi žmonės žino pasitikėjimo balą, kai nuspręs, ar pasitikėti mašininio mokymosi sistemos rekomendacija.
Energetikos departamento Ramiojo vandenyno šiaurės vakarų nacionalinės laboratorijos mokslininkai pateikė naują būdą, kaip įvertinti AI sistemos rekomendacijas. Jie įtraukia žmonių ekspertus, kad galėtų pamatyti, kaip ML veikia duomenų rinkinyje. Ekspertas sužino, kokių tipų duomenis mašininio mokymosi sistema paprastai klasifikuoja teisingai ir kurie duomenų tipai sukelia painiavą ir sistemos klaidas. Turėdami šias žinias, ekspertai pateikia savo pasitikėjimo balą būsimoms sistemos rekomendacijoms.
Žmogaus žvilgsnio per AI sistemos petį rezultatas? Žmonės tiksliau numatė AI sistemos veikimą.
Minimalios žmogaus pastangos – vos kelios valandos – įvertinus kai kuriuos AI programos sprendimus leido tyrėjams gerokai pagerinti AI programos gebėjimą įvertinti savo sprendimus. Kai kuriose komandos analizėse pasitikėjimo balo tikslumas padvigubėjo, kai rezultatą pateikė žmogus.
PNNL komanda pristatė savo rezultatus neseniai Vašingtone įvykusiame Žmogaus faktorių ir ergonomikos draugijos susitikime, kuris yra žmogaus ir AI robotų komandos sesijos dalis.
„Jei iš pradžių nesukūrėte mašininio mokymosi algoritmo, tai gali atrodyti kaip juodoji dėžė“, – sakė Corey Fallon, pagrindinis tyrimo autorius ir žmogaus ir mašinos sąveikos ekspertas. „Kai kuriais atvejais atrodo, kad sprendimai yra puikūs. Kitais atvejais galite gauti rekomendaciją, kuri yra tikras galvos draskymas. Galite nesuprasti, kodėl ji priima tokius sprendimus.”
Tinklelis ir AI
Energetikos inžinieriai, dirbantys su elektros tinklu, susiduria su dilema. Jų sprendimai, pagrįsti gausybe duomenų, kurie keičiasi kiekvieną akimirką, leidžia įjungti šviesas ir veikti. Tačiau energetikai gali nenorėti perduoti sprendimų priėmimo įgaliojimų mašininio mokymosi sistemoms.
„Yra šimtai mokslinių straipsnių apie mašininio mokymosi naudojimą energijos sistemose, tačiau beveik nė vienas iš jų netaikomas realiame pasaulyje. Daugelis operatorių paprasčiausiai nepasitiki ML. Jie turi domeno patirties, ko ML negali išmokti. “, – sakė bendraautorius Tianzhixi „Tim“ Yin.
PNNL mokslininkai, kurių pasaulinio lygio komanda modernizuoja tinklą, atidžiau pažvelgė į vieną elektros energijos sistemoms taikomą mašininio mokymosi algoritmą. Jie apmokė SVM (palaikymo vektoriaus mašinos) algoritmą realiais duomenimis iš tinklo rytinės jungties JAV. Programa išnagrinėjo 124 įvykius, spręsdama, ar generatorius veikė netinkamai, ar duomenys rodo kitokio pobūdžio įvykius, kurie buvo mažiau verti dėmesio.
Algoritmas buvo 85% patikimas savo sprendimuose. Daugelis jos klaidų įvyko, kai buvo sudėtingų galios sutrikimų ar dažnio poslinkių. Pasitikėjimo balai, sukurti kartu su žmogumi, buvo akivaizdus patobulinimas, palyginti su sistemos savo sprendimų įvertinimu. Žmogaus eksperto įvestis daug tiksliau numatė algoritmo sprendimus.
Daugiau žmonių, geresnis mašininis mokymasis
Fallonas ir Yinas naująjį balą vadina „Eksperto išvesto pasitikėjimo“ balu arba EDC balu.
Jie nustatė, kad vidutiniškai, kai žmonės svėrė duomenis, jų EDC balai numatė modelio elgesį, kurio algoritmo pasitikėjimo balai negalėjo numatyti.
„Žmogaus ekspertas užpildo ML žinių spragas“, – sakė Yin. „Žmogus pateikia informaciją, kurios ML neturėjo, ir mes parodome, kad ta informacija yra reikšminga. Esmė ta, kad mes parodėme, kad jei prie ML rezultatų pridėsite žmogaus kompetenciją, gausite daug didesnį pasitikėjimą.”
„Tokio tipo tyrimai reikalingi norint paruošti ir aprūpinti dirbtiniu intelektu pasirengusią darbo jėgą“, – sakė Fallonas. „Jei žmonės nepasitiki įrankiu, jūs iššvaistėte savo laiką ir pinigus. Turite žinoti, kas atsitiks, kai išimsite mašininio mokymosi modelį iš laboratorijos ir pradėsite jį naudoti realiame pasaulyje. .
„Esu didelis žmogiškosios patirties ir žmogaus bei mašinos bendradarbiavimo gerbėjas. Mūsų EDC balai leidžia žmogui geriau įvertinti situaciją ir priimti galutinį sprendimą.”
Citata: Norite geresnio AI? Gaukite tikro (žmogaus) eksperto nuomonę (2023 m. lapkričio 20 d.), gautą 2023 m. lapkričio 20 d. iš https://techxplore.com/news/2023-11-ai-real-human-expert.html
Šis dokumentas yra saugomas autorių teisių. Išskyrus bet kokius sąžiningus sandorius privačių studijų ar mokslinių tyrimų tikslais, jokia dalis negali būti atkuriama be raštiško leidimo. Turinys pateikiamas tik informaciniais tikslais.
