AI probabilistica che sa quanto bene sta funzionando.

'Probabilistic AI that knows how well it's working.'

È più importante che mai che l’intelligenza artificiale stimi quanto accuratamente sta spiegando i dati.

A new set of algorithms developed at MIT is unique among AI tools, in that it outputs explanations for data and estimates the accuracy of those explanations.

Nonostante la loro enorme dimensione e potenza, i sistemi di intelligenza artificiale odierni non riescono a distinguere tra allucinazione e realtà. I sistemi di guida autonoma possono non percepire i pedoni e i veicoli di emergenza proprio di fronte a loro, con conseguenze fatali. I sistemi di AI conversazionale formulano con sicurezza fatti inventati e, dopo essere stati addestrati tramite apprendimento per rinforzo, spesso non riescono a dare stime accurate della propria incertezza.

Lavorando insieme, i ricercatori del MIT e dell’Università della California di Berkeley hanno sviluppato un nuovo metodo per la creazione di algoritmi di inferenza di AI sofisticati che generano contemporaneamente collezioni di spiegazioni probabili per i dati e stimano accuratamente la qualità di tali spiegazioni.

Il nuovo metodo si basa sull’approccio matematico chiamato Monte Carlo sequenziale (SMC). Gli algoritmi SMC sono un insieme di algoritmi consolidati che sono stati ampiamente utilizzati per l’AI calibrata sull’incertezza, proponendo spiegazioni probabili dei dati e monitorando quanto probabili o improbabili sembrano le spiegazioni proposte ogni volta che vengono fornite ulteriori informazioni. Ma SMC è troppo semplice per compiti complessi. Il problema principale è che uno dei passaggi centrali nell’algoritmo – ovvero il passaggio di generare effettivamente ipotesi per spiegazioni probabili (prima del passaggio di monitorare quanto diverse ipotesi sembrano rispetto alle altre) – doveva essere molto semplice. In aree di applicazione complicate, guardare i dati e generare ipotesi plausibili su ciò che sta accadendo può essere un problema complesso di per sé. Nell’auto guida autonomo, ad esempio, ciò richiede di guardare i dati video dalle telecamere di un’auto a guida autonoma, identificare le auto e i pedoni sulla strada e ipotizzare i percorsi di probabile movimento dei pedoni attualmente nascosti alla vista. Generare ipotesi plausibili dai dati grezzi può richiedere algoritmi sofisticati che l’SMC regolare non può supportare.

Ecco dove entra in gioco il nuovo metodo, SMC con proposte di programma probabilistiche (SMCP3). SMCP3 rende possibile l’utilizzo di modi più intelligenti per generare ipotesi plausibili di dati, per aggiornare tali ipotesi proposte alla luce di nuove informazioni e per stimare la qualità di tali spiegazioni che sono state proposte in modi sofisticati. SMCP3 lo fa rendendo possibile l’utilizzo di qualsiasi programma probabilistico – qualsiasi programma per computer che ha anche il permesso di effettuare scelte casuali – come strategia per proporre (ovvero indovinare in modo intelligente) spiegazioni di dati. Le versioni precedenti di SMC consentivano solo l’utilizzo di strategie molto semplici, così semplici da poter calcolare la probabilità esatta di qualsiasi ipotesi. Questa restrizione rendeva difficile l’utilizzo di procedure di ipotesi con più fasi.

L’articolo degli studiosi su SMCP3 dimostra che utilizzando procedure di proposta più sofisticate, SMCP3 può migliorare l’accuratezza dei sistemi di IA per il monitoraggio di oggetti 3D e l’analisi dei dati e migliorare anche la precisione delle stime degli algoritmi su quanto i dati siano probabili. Ricerche precedenti del MIT e di altri hanno dimostrato che tali stime possono essere utilizzate per dedurre quanto accuratamente un algoritmo di inferenza spiega i dati, rispetto a un ragionatore bayesiano idealizzato.

George Matheos, co-autore principale dell’articolo (e uno studente di dottorato in ingegneria elettrica ed informatica [EECS] in arrivo al MIT), afferma di essere entusiasta del potenziale di SMCP3 per rendere pratico l’uso di algoritmi calibrati sull’incertezza ben compresi in ambienti di problemi complicati in cui le vecchie versioni di SMC non funzionavano.

“Oggi abbiamo molti nuovi algoritmi, molti basati su reti neurali profonde, che possono proporre ciò che potrebbe accadere nel mondo, alla luce dei dati, in tutti i tipi di aree problematiche. Ma spesso, questi algoritmi non sono davvero calibrati sull’incertezza. Proposero solo un’idea di ciò che potrebbe accadere nel mondo, e non è chiaro se quella sia l’unica spiegazione plausibile o se ce ne siano altre – o se quella sia una buona spiegazione in primo luogo! Ma con SMCP3, penso che sarà possibile utilizzare molti più di questi algoritmi intelligenti ma difficili da fidarsi per costruire algoritmi che siano calibrati sull’incertezza. Poiché utilizziamo sistemi di “intelligenza artificiale” per prendere decisioni in sempre più aree della vita, avere sistemi in cui possiamo fidarci, che siano consapevoli della loro incertezza, sarà cruciale per la affidabilità e la sicurezza”.

Vikash Mansinghka, autore senior dell’articolo, aggiunge: “I primi computer elettronici sono stati costruiti per eseguire metodi Monte Carlo, e sono alcune delle tecniche più ampiamente utilizzate nel calcolo e nell’intelligenza artificiale. Ma fin dall’inizio, i metodi Monte Carlo sono stati difficili da progettare e implementare: la matematica doveva essere derivata a mano, e c’erano molte sottili restrizioni matematiche di cui gli utenti dovevano essere consapevoli. SMCP3 automatizza contemporaneamente la matematica difficile e amplia lo spazio dei progetti. Lo abbiamo già utilizzato per pensare a nuovi algoritmi di AI che non avremmo potuto progettare prima”.

Gli altri autori dell’articolo includono il co-primo autore Alex Lew (uno studente di dottorato EECS del MIT); gli studenti di dottorato EECS del MIT Nishad Gothoskar, Matin Ghavamizadeh e Tan Zhi-Xuan; e Stuart Russell, professore all’UC Berkeley. Il lavoro è stato presentato alla conferenza AISTATS a Valencia, in Spagna, nell’aprile.