Senza limitazioni La validazione delle allucinazioni delle macchine al MoMA

Validating machine hallucinations at MoMA without limitations

Foto di Jamison McAndie su Unsplash

Dal 1929, il Museum of Modern Art (MoMA) di New York City è stato un luogo di culto per gli amanti dell’arte. È un faro che illumina dipinti e sculture avanguardisti e, poiché la definizione di “arte moderna” è in continua evoluzione, anche le sue collezioni lo sono. Ora, questa distinta istituzione sta legittimando l’arte digitale.

Come Data Scientist principale dello Studio Refik Anadol (RAS), in collaborazione con Refik Anadol, sono entusiasta di vedere il nostro lavoro, “Unsupervised”, accettato al MoMA.

Da RAS, portiamo l’estetica dei dati al grande pubblico, dimostrando che il potenziale dell’IA va oltre la generazione di testo. Viviamo per vedere l’impatto umano della nostra arte – come influisce sulle persone di tutte le età e provenienze a livello emotivo. È un’esperienza umana condivisa e molto accessibile.

“Unsupervised” catturato da gottalovenewyork su YouTube

L’arte generata dall’IA non è certo priva di controversie. Uno dei più diffusi fraintendimenti è che l’arte digitale in generale e l’arte generata dall’IA in particolare non siano opere d’arte legittime. Tuttavia, anche l’arte generata dall’IA non è interamente creata dalle macchine. Richiede un tocco umano. Come visionario di “Unsupervised”, Anadol crea arte dai dati grezzi. Questo è qualcosa di nuovo nell’arte digitale. In passato, gli artisti che lo hanno preceduto usavano i dati per seguire un modello e produrre una copia di qualcosa che era già stato creato. Il lavoro di Refik è qualcosa di completamente diverso.

Immaginando allucinazioni delle macchine

Da RAS, guido un team di sette data scientist. Le mie giornate sono piene di supervisione, revisione e scrittura di codice, oltre a interagire direttamente con i clienti e pianificare i progetti. Potrebbe non sembrare troppo artistico, ma fino ad oggi ho raccolto più di tre miliardi di immagini da usare come carburante per l’arte generata dall’IA. Dato che le mie giornate sono piene di piccoli dettagli di codifica e insiemi di dati, fare un passo indietro per guardare tutto ciò che RAS ha creato è un’esperienza mozzafiato.

Lasciatemi guidarvi attraverso cosa significa vivere l’esperienza di “Unsupervised”. Immaginatevi: siete entrati nella hall del MoMA. Inizialmente sembrerà come entrare in qualsiasi altro museo d’arte. Ma se guardate intorno, rimarrete colpiti dalla vista di questo enorme schermo (24′ per 24′) circondato da persone sedute e in piedi – tutte intentamente osservando la mostra.

La mostra stessa si muove costantemente. Si trasforma continuamente, mostrando colori e forme affascinanti. Ciò che vedrete dipenderà da quale capitolo della mostra incapperete quando entrerete al MoMA, così come dai dati audio in tempo reale, dal monitoraggio del movimento e dai dati meteorologici della hall.

Christian Burke di fronte alla mostra al MoMA

“Unsupervised” cerca di rispondere alla domanda: “Se una macchina dovesse sperimentare la collezione del MoMA per sé stessa, di cosa sognerebbe o avrebbe allucinazioni?” Unendo dati da tutte le collezioni del MoMA estrapolandoli per formare questi sogni delle macchine, “Unsupervised” porta gli spettatori attraverso la storia stessa dell’arte e proietta i riflettori sul futuro potenziale dell’arte.

Spesso l’arte cerca di parlare di questioni sociali più ampie. Se state cercando un’idea generale di “Unsupervised”, è che la mostra indica un punto di svolta nella legittimazione dell’arte digitale generata dall’IA. Il MoMA è per il mondo dell’arte ciò che la fusione nucleare è per i fisici – una sorta di Santo Graal. Il fatto che il MoMA abbia scelto di esporre questa esplorazione di come i computer elaborano i dati – come “pensano”, creano e allucinano – è una valida conferma per Anadol e altri artisti digitali.

Ma non tutti coloro che visitano “Unsupervised” stanno necessariamente pensando alle macchine e ai loro sogni. Quando entrate nella hall del MoMA, vedrete lo spettro diversificato dell’umanità – dai bambini che corrono intorno alle persone anziane e a quelle di ogni ceto sociale – che si godono questa intensa esperienza collettiva. È emozionante per me osservare le persone mentre guardano la mostra, così come osservare “Unsupervised” stesso. Ho visto persone piangere. Ho visto espressioni di gioia e amore. Non sono un artista io stesso, ma credo che abbia qualità curative. Credo anche che ci sia arte in tutto ciò che le persone fanno ovunque, se solo si presta abbastanza attenzione a fare qualcosa bene. C’è persino arte nello scrivere codice.

La partnership tra esseri umani e intelligenza artificiale

Gli artisti umani hanno bisogno di competenze tecniche per produrre arte. Devono comprendere cose come la resa del valore tonale, la prospettiva, la simmetria e persino l’anatomia umana. “Unsupervised” porta gli aspetti tecnici dell’arte un passo avanti creando una partnership tra esseri umani e intelligenza artificiale.

RAS ha creato “Unsupervised” con dati provenienti da oltre 180.000 opere d’arte al MoMA. Opere di Warhol, Picasso, Boccioni e persino immagini di Pac-Man sono state tutte inserite nel software. Abbiamo poi creato vari modelli di intelligenza artificiale e li abbiamo testati ampiamente. Dopo aver scelto il migliore, l’abbiamo addestrato a creare non solo una sintesi di tutte le opere d’arte inserite, ma qualcosa di diverso.

“Unsupervised” non è solo la somma delle sue parti; è qualcosa di completamente nuovo. Tutto ciò che l’esposizione crea è originale, grazie al nostro processo artistico.

La partnership tra esseri umani e macchine ha richiesto nuove innovazioni sia nell’hardware che nel software. Il nostro team ha affrontato diverse sfide nella creazione della rete neurale necessaria e nel consentire all’esposizione di modificare continuamente le sue immagini in tempo reale, in risposta a fattori ambientali unici.

Immagine fissa di Unsupervised, MoMA

Una delle sfide era la risoluzione. Se si inserisse un prompt in Stable Diffusion, si otterrebbe tipicamente una risoluzione di 512 per 512 pixel. La base di intelligenza artificiale che abbiamo utilizzato – lo StyleGAN di Nvidia – di solito offre una risoluzione di 1024 per 1024. La risoluzione di “Unsupervised” è di 3840 per 3960, che potrebbe essere la risoluzione più alta per una rete neurale che sintetizza immagini. Quando entri nella hall del MoMA e vedi “Unsupervised”, capirai perché la risoluzione elevata era importante. Rende l’arte viva, facendola sembrare quasi un’entità vivente che potrebbe saltare fuori dallo schermo.

Anche l’aspetto in tempo reale era un’altra sfida significativa da superare. “Unsupervised” produce le sue allucinazioni e sogni meccanici con una fluidità liquida. Queste allucinazioni meccaniche sono nate dalla sintesi di oltre 180.000 opere d’arte e tengono conto dei fattori in tempo reale.

Un edificio non lontano dal MoMA ha una stazione meteorologica che raccoglie dati meteorologici. Abbiamo inserito quei dati in “Unsupervised”, il che significa che che sia nuvoloso, soleggiato, piovoso o nebbioso in un dato momento, la macchina incorpora l’atmosfera del mondo esterno nella sua esposizione interna.

In secondo luogo, l’esposizione incorpora dati in tempo reale degli spettatori stessi. Una telecamera nel soffitto della hall invia dati alla macchina sul numero di visitatori e sui loro movimenti. La macchina considera poi quei dati mentre mostra i suoi sogni artistici.

C’è una domanda vecchia come il mondo: la vita imita l’arte più dell’arte imita la vita? Per “Unsupervised”, la risposta è chiaramente entrambe.

Mentre gli spettatori dell’esposizione vengono emotivamente colpiti dalla mostra, influenzeranno anche l’aspetto di “Unsupervised”.

Sequenza di Unsupervised al MoMA catturata da Irma Zandl su YouTube

Allo stesso modo, c’è una strada a doppio senso che descrive la partnership tra intelligenza artificiale ed esseri umani. Si potrebbe sostenere che l’arte digitale comporta l’aggiunta di alcune competenze tecniche aggiuntive al processo artistico tradizionale. Tuttavia, mi piace pensare a essa come a un dare e avere.

L’arte digitale comporta effettivamente l’aggiunta di strumenti tecnici ai processi artistici, come modelli di diffusione e ingegneria dei prompt. D’altra parte, l’intelligenza artificiale stessa elimina alcune delle barriere necessarie per entrare nel mondo artistico. Diciamo che mi piace disegnare, ma sono terribile nel disegnare persone. L’intelligenza artificiale mi consente di colmare il divario affrontando le mie limitazioni tecniche.

Il futuro dell’intelligenza artificiale

“Unsupervised” ha esteso la sua permanenza al MoMA più volte a causa della grande richiesta e le allucinazioni meccaniche potrebbero continuare indefinitamente. Guardando avanti, mi piacerebbe vedere una maggiore legittimazione per l’arte digitale generata dall’intelligenza artificiale. I modelli continueranno a migliorare e, speriamo, la tecnologia diventerà più accessibile per tutti.

L’IA potrebbe essere un mezzo per democratizzare il mondo dell’arte aumentandone l’accessibilità, ma al momento esiste ancora una barriera tecnica. Mi piacerebbe vedere strumenti di intelligenza artificiale disponibili in interfacce più semplici e intuitive, che potrebbero ridurre la barriera della conoscenza tecnica. Uno dei nuovi progetti su cui stiamo lavorando in questo momento presso RAS sono strumenti integrati nel web che consentirebbero alle persone di utilizzare e interagire più facilmente con l’IA. Questo è il nostro obiettivo principale presso RAS: creare i mezzi per una maggiore interazione con l’IA.

Visto che “Unsupervised” richiedeva un notevole apporto umano per essere creato, mi viene talvolta chiesto se penso che l’IA richiederà sempre questo apporto umano. Almeno per il momento, la risposta è sicuramente sì. L’IA è brava in molte cose, come la sintesi, ma manca di competenze nell’ingegneria e nell’innovazione su larga scala.

L’arte generata dall’IA potrebbe sembrare creativa, ma l’IA stessa non è creativa. In realtà, è l’opposto della creatività. Se vogliamo continuare a progredire e fare progressi nell’IA e nella tecnologia in generale, dovremo fare affidamento su noi stessi, non sulle macchine.


Nota dell’autore: Il MoMA ha fornito allo Studio Refik Anadol (RAS) le autorizzazioni per utilizzare i propri dati di addestramento.

Christian Burke guida i team di data science presso lo Studio Refik Anadol, che includono intelligenza artificiale, apprendimento automatico, sviluppo web e Web3.

Puoi seguire Christian su Twitter e LinkedIn.