Una nuova ricerca sull’intelligenza artificiale da Stanford mostra come le spiegazioni possano ridurre la eccessiva affidabilità dei sistemi di intelligenza artificiale durante la presa di decisioni

Nuova ricerca su IA di Stanford dimostra come le spiegazioni riducono l'affidabilità eccessiva dei sistemi di IA durante la presa di decisioni.

L’esplosione dell’intelligenza artificiale (IA) negli ultimi anni è strettamente legata a quanto migliorata sia diventata la vita umana grazie alla capacità dell’IA di svolgere lavori più velocemente e con meno sforzo. Oggi ci sono praticamente pochi campi che non fanno uso dell’IA. Ad esempio, l’IA è ovunque, dagli agenti di intelligenza artificiale presenti negli assistenti vocali come Amazon Echo e Google Home all’utilizzo di algoritmi di apprendimento automatico nella previsione della struttura delle proteine. Pertanto, è ragionevole pensare che un essere umano che lavora con un sistema di IA produrrà decisioni superiori a quelle di ognuno che agisce da solo. Questo è effettivamente il caso, però?

Studi precedenti hanno dimostrato che questo non è sempre il caso. In diverse situazioni, l’IA non produce sempre la risposta corretta e questi sistemi devono essere addestrati nuovamente per correggere pregiudizi o altri problemi. Tuttavia, un altro fenomeno associato che pone un pericolo all’efficacia delle squadre decisionali umano-IA è la sovrafiducia nell’IA, che stabilisce che le persone sono influenzate dall’IA e spesso accettano decisioni errate senza verificare se l’IA è corretta. Questo può essere molto dannoso quando si svolgono compiti critici ed essenziali come l’identificazione delle frodi bancarie e la formulazione di diagnosi mediche. I ricercatori hanno anche dimostrato che l’IA spiegabile, che consiste nel fatto che un modello di IA spiega ad ogni passo perché ha preso una certa decisione anziché fornire solo previsioni, non riduce questo problema di sovrafiducia nell’IA. Alcuni ricercatori hanno addirittura sostenuto che i pregiudizi cognitivi o la fiducia non calibrata sono la causa principale della sovrafiducia, attribuendo la sovrafiducia alla natura inevitabile della cognizione umana.

Tuttavia, queste scoperte non confermano del tutto l’idea che le spiegazioni dell’IA dovrebbero diminuire la sovrafiducia. Per esplorare ulteriormente questo aspetto, un team di ricercatori presso il laboratorio di Intelligenza Artificiale Centrata sull’Uomo (HAI) dell’Università di Stanford ha affermato che le persone scelgono strategicamente se interagire o meno con una spiegazione dell’IA, dimostrando che ci sono situazioni in cui le spiegazioni dell’IA possono aiutare le persone a diventare meno eccessivamente fiduciose. Secondo il loro articolo, le persone sono meno propense a fare affidamento sulle previsioni dell’IA quando le spiegazioni dell’IA correlate sono più facili da capire rispetto all’attività in corso e quando c’è un beneficio maggiore nel farlo (che può essere sotto forma di una ricompensa finanziaria). Hanno anche dimostrato che la sovrafiducia nell’IA può diminuire considerevolmente quando ci concentriamo sull’coinvolgimento delle persone nella spiegazione anziché limitarci a fornirla come obiettivo.

• Meta AI presenta CM3leon il game-changer multimodale che offre la generazione di testo-immagine all’avanguardia con un’efficienza di calcolo senza precedenti.
• NLP moderna Una panoramica dettagliata. Parte 1 Transformers
• Incontra DERA Un framework AI per migliorare il completamento dei modelli di lingua con agenti risolutivi abilitati per il dialogo

Il team ha formalizzato questa decisione strategica in un quadro di costo-beneficio per mettere alla prova la loro teoria. In questo quadro, i costi e i benefici del partecipare attivamente al compito vengono confrontati con i costi e i benefici di fare affidamento sull’IA. Hanno invitato lavoratori online a lavorare con un IA per risolvere una sfida di labirinto a tre livelli di complessità distinti. Il modello di IA corrispondente ha offerto la risposta e o nessuna spiegazione o una delle diverse gradi di giustificazione, che vanno da un’unica istruzione per il passo successivo a indicazioni passo-passo per uscire dall’intero labirinto. I risultati dei test hanno mostrato che i costi, come la difficoltà del compito e la difficoltà di spiegazione, e i benefici, come il compenso monetario, influenzano notevolmente la sovrafiducia. La sovrafiducia non è affatto diminuita per i compiti complessi in cui il modello di IA forniva istruzioni passo-passo perché decifrare le spiegazioni generate era altrettanto difficile come superare il labirinto da soli. Inoltre, la maggior parte delle giustificazioni non ha avuto alcun impatto sulla sovrafiducia quando era facile uscire dal labirinto da soli.

Il team ha concluso che se il lavoro in questione è impegnativo e le spiegazioni associate sono chiare, possono contribuire a prevenire la sovrafiducia. Tuttavia, quando il lavoro e le spiegazioni sono entrambi difficili o semplici, queste spiegazioni hanno scarso effetto sulla sovrafiducia. Le spiegazioni non contano molto se le attività sono semplici da fare perché le persone possono eseguire il compito da sole con altrettanta facilità anziché fare affidamento sulle spiegazioni per prendere decisioni. Inoltre, quando i compiti sono complessi, le persone hanno due scelte: completare il compito manualmente o esaminare le spiegazioni generate dall’IA, che sono spesso altrettanto complicate. La causa principale di ciò è che pochi strumenti di spiegabilità sono disponibili per i ricercatori di IA che richiedono molto meno sforzo per la verifica rispetto all’esecuzione del compito manualmente. Quindi, non è sorprendente che le persone tendano a fidarsi del giudizio dell’IA senza metterlo in discussione o cercare una spiegazione.

Come esperimento aggiuntivo, i ricercatori hanno anche introdotto il fattore del beneficio finanziario nell’equazione. Hanno offerto ai lavoratori online la possibilità di lavorare indipendentemente attraverso labirinti di varie difficoltà per una somma di denaro o di prendere meno denaro in cambio di assistenza da parte di un’IA, sia senza spiegazioni sia con indicazioni complesse passo-passo. I risultati hanno mostrato che i lavoratori valutano più l’assistenza dell’IA quando il compito è impegnativo e preferiscono una spiegazione semplice a una complessa. Inoltre, si è scoperto che la sovrafiducia diminuisce all’aumentare del vantaggio a lungo termine derivante dall’utilizzo dell’IA (in questo esempio, la ricompensa finanziaria).

I ricercatori di Stanford hanno grandi speranze che la loro scoperta possa fornire qualche conforto agli accademici che sono stati perplessi dal fatto che le spiegazioni non diminuiscano l’eccessiva dipendenza. Inoltre, desiderano ispirare i ricercatori dell’IA spiegabile con il loro lavoro fornendo loro un argomento convincente per migliorare e ottimizzare le spiegazioni dell’IA.

Consulta il paper e l’articolo di Stanford. Tutto il merito di questa ricerca va ai ricercatori di questo progetto. Inoltre, non dimenticare di unirti al nostro ML SubReddit con oltre 26k membri, al canale Discord e alla newsletter via email, dove condividiamo le ultime notizie sulla ricerca sull’IA, progetti interessanti sull’IA e altro ancora.

L’articolo Un nuovo studio sull’intelligenza artificiale di Stanford mostra come le spiegazioni possono ridurre l’eccessiva dipendenza dai sistemi di intelligenza artificiale durante la presa di decisioni è apparso per primo su MarkTechPost.