Nubraižykite būgno ar saksofono piešinį, kad sukurtumėte daugiafunkcinę kompoziciją. Pažvelkite į internetinę kamerą, kalbėkite ir stebėkite, kaip jūsų burna šokinėja per ekraną – tai yra daugybė žaviai gremėzdiškų grandininių reakcijų.
Su tuo susiduria MIT Lewiso muzikos bibliotekos lankytojai, sąveikaudami su dviem naujomis skaitmeninėmis instaliacijomis „Doodle Tunes“ ir „Sounds from the Mouth“, kurias sukūrė 2022–2023 m. Meno ir technologijų centro (CAST) kviestinis menininkas Andreasas Refsgaardas. bendradarbiavimas su muzikos technologijomis ir skaitmeninės medijos bibliotekininku Caleb Hall. Rezidenciją inicijavo Lewiso muzikos bibliotekos skyriaus vadovas Avery Boddie, kuris pripažino Refsgaardo nuojautą atskleisti naujų technologijų žaismingumą. Kodavimo ir mašininio mokymosi sudėtingumas naujokams gali atrodyti bauginantis, tačiau Refsgaardo, kaip kūrybingo programuotojo, sąveikos dizainerio ir pedagogo, praktika siekia atverti šią sritį visiems. Rezidencija, apimanti seminarus, menininko pokalbius, apsilankymus klasėje ir parodą, buvo įkvėpta jo unikalaus humoro jausmo – gyvo ekscentriškumo ir lengvo santykio derinio.
Mašininis mokymasis ir menai su MIT CAST kviestiniu menininku Andreasu Refsgaardu
Mokymasis per juoką
Refsgaardas, įsikūręs Kopenhagoje, yra tikras mašininio mokymosi meistras. „Mane domina būdai, kaip galime išreikšti save naudodami kodą“, – aiškina jis. „Man patinka užmegzti netradicinius ryšius tarp įvesties ir išvesties, kai kompiuteris tarnauja kaip vertėjas – įrankis gali padėti leisti muziką akimis arba sukurti meilės eilėraštį iš burito nuotraukos. Ypatingas Refsgaardo inovacijų tikslas nėra tiesioginis problemų sprendimas ar pasaulį keičiančių startuolių kūrimas. Vietoj to, jis paprasčiausiai siekia „pamatyti, ką galima padaryti“, pateikdamas prieinamus atvirojo kodo šablonus, kad paskatintų naujas kūrybines idėjas ir programas.
„Doodle Tunes“ ir „Sounds from the Mouth“, suprogramuoti Refsgaard ir kuriuose yra pasirinktinis Hall sukurtų garsų rinkinys, parodo, kaip galima sukurti originalias kompozicijas derinant spontaniškus žmogaus gestus ir algoritmiškai sukurtus rezultatus. „Doodle Tunes“ programoje mašininio mokymosi algoritmas apmokomas naudojant skirtingų instrumentų: fortepijono, būgno, bosinės gitaros ar saksofono duomenų rinkinį. Kai vartotojas jutikliniame ekrane nubraižo vieną iš šių vaizdų, sugeneruojamas garsas; kuo daugiau instrumentų pridėsite, tuo sudėtingesnė kompozicija. „Garsai iš burnos“ veikia stebint veidą ir fiksuojant vaizdus. Kai dalyvis atsigręžia į internetinę kamerą ir atidaro burną, sukuriamas autonominis momentinis vaizdas, kuris atšoka nuo fortepijono natų. Norėdami patys išbandyti projektus, slinkite į šio straipsnio pabaigą.
Bibliotekos, neribotos
Saksofono girgždesys ir skaitmeninių būgnų dūžiai nėra vieninteliai garsai, sklindantys iš projektų įrengimo vietų. „Mano biuras yra netoli“, – sako Hall. „Taigi, kai staiga išgirstu juoką, tiksliai žinau, kas vyksta. Ši nauja Lewiso muzikos bibliotekos garso dimensija dera su visos aplinkos etosu – sukurta kaip universiteto miestelio centras garso eksperimentams, biblioteka niekada nebuvo skirta visiškai tyliai. Refsgaardo rezidencija rodo, kad Boddie vadovaujamas naujas progresyvaus programavimo akcentas, nes bibliotekos strategija pereina prie skaitmeninių kolekcijų ir muzikos technologijų.
„Mes norime, kad biblioteka būtų ne tik vieta ramiam mokymuisi ir prieigai prie fizinių išteklių, bet ir vieta, kur vartotojai susiburtų, bendradarbiautų ir kartu tyrinėtų“, – sako Boddie. „Ši rezidentūra tuo atžvilgiu buvo labai sėkminga. Per seminarus galėjome sujungti asmenis iš visos MIT bendruomenės ir jų unikalių disciplinų. Turėjome žmonių iš Sloano vadybos mokyklos, iš Schwarzmano skaičiavimo koledžo, iš muzikos ir teatro menų, visi dirbo kartu, buvo netvarkingi, kūrė įrankius, kurie kartais veikė… o kartais ne.
Klaida ir nuobodulys
Klaidų integravimas yra pagrindinė Refgaardo darbo kokybė. Retkarčiais pasitaikantys nesklandumai yra meniškumo dalis, be to, jie švelniai mažina ažiotažą apie AI; Algoritmas yra toks geras, koks yra jo duomenų rinkinys, ir tą rinkinį įtakoja žmonių šališkumas ir apsileidimas. Per viešą menininko pokalbį „Mašininis mokymasis ir menai“ auditorijos nariai buvo inicijuoti neįprastą Refsgaardo meninę paradigmą, pristatyti tokius projektus kaip Booksby.ai (internetinis dirbtinio intelekto sukurtų mokslinės fantastikos romanų knygynas), Ar tai FUNKY? (bandymas atskirti „linksmus“ ir „nuobodžius“ vaizdus) ir „Eye Conductor“ (sąsaja, leidžianti leisti muziką akių judesiais ir veido gestais). Parodos instaliacijose buvo atvirai pripažinti trūkumai (tiesa, „Doodle Tunes“ retkarčiais saksofono piešinį supainioja su voveraitėmis), o Refsgaardas skatino žiūrovus siūlyti galimus patobulinimus.
Toks atviras požiūris davė toną seminarams „Menas, algoritmai ir dirbtinis intelektas“ ir „Mašininis mokymasis sąveikos dizaineriams“, skirtiems naujokams ir smalsiems ekspertams. Refsgaardo vizitai į muzikos technologijų pamokas tyrinėjo būdus, kaip mašininis mokymasis gali sustiprinti žmogaus kūrybiškumą, ir kaip naršyti slenkančioje skalėje tarp meninio ketinimo ir netikėtų rezultatų. „Mano nuomone, sėkmė yra tada, kai dalyviai įsitraukia į medžiagą ir pateikia naujų idėjų. Pirmasis mokymosi žingsnis yra suprasti, kas yra mokoma, o kitas – pritaikyti tą supratimą tokiais būdais, kurių mokytojas negalėjo numatyti.
Nežinomybė ir galimybė
Refsgaardo darbas parodo kai kurias pagrindines vertybes ir klausimus, kurie yra pagrindiniai MIT bibliotekų evoliucija – skaitmeninimo, skaičiavimo ir atviros prieigos klausimai. Pasirinkdamas savo lengvabūdiškas demonstracines versijas padaryti laisvai prieinamas, jis atsisako nuosavybės teisės į savo idėjas; mašininio mokymosi modelis gali būti naudojamas kaip mokymosi įrenginys studentui, o korporacija taip pat gali gauti pinigų. Refsgaardui žaidimas yra būdas įsitraukti į naujų technologijų etines pasekmes, o Hallas susidūrė su šiais klausimais kurdamas garsus dviem instalijoms. „Jeigu aš parašiau garso pavyzdžius, bet kažkas kitas juos aranžavo kaip kompoziciją, tai kam priklauso muzika? O gal AI priklauso muzika? Tai nepaprastai įdomus laikas dirbti muzikos technologijų srityje; mes patenkame į nežinomą teritoriją.
Refsgaardui netikrumas yra slaptas jo algoritminio meniškumo padažas. „Man patinka kurti dalykus, kuriuose mane nustebina galutinis rezultatas“, – sako jis. „Aš ieškau tos mielos vietos tarp kažko pažįstamo ir netikėto. Kaip jis aiškina, per daug nuostabos tiesiog prilygsta triukšmui, tačiau yra kažkas džiaugsmingo, kai mašina gali supainioti saksofoną su vovere. Kūrybiško programuotojo užduotis – nuolat derinti žmogaus ir mašinos galimybių santykį – surasti ir sekti muziką.
„Doodle Tunes“ ir „Sounds from the Mouth“ rodomi MIT Lewis muzikos bibliotekoje (14E-109) iki gruodžio 20 d. Spustelėkite nuorodas, kad galėtumėte bendrauti su projektais internete.
