Progettazione di meccanismi centrati sull’essere umano con intelligenza artificiale democratica

'Progettazione di meccanismi AI centrati sull'essere umano democratici'

Nel nostro recente articolo , pubblicato su Nature Human Behaviour, forniamo una dimostrazione di concetto che l’apprendimento per rinforzo profondo (RL) può essere utilizzato per trovare politiche economiche che la maggioranza delle persone voterà in un semplice gioco. L’articolo affronta quindi una sfida chiave nella ricerca sull’IA: come addestrare sistemi di intelligenza artificiale che si allineino con i valori umani.

Immagina che un gruppo di persone decida di mettere insieme fondi per fare un investimento. L’investimento va bene e viene realizzato un profitto. Come dovrebbero essere distribuiti i proventi? Una strategia semplice è dividere la restituzione in modo equo tra gli investitori. Ma potrebbe essere ingiusto, perché alcune persone hanno contribuito più di altre. In alternativa, potremmo restituire a ognuno una quantità proporzionale alla dimensione del loro investimento iniziale. Questo sembra giusto, ma cosa succede se le persone avevano livelli diversi di patrimonio iniziale? Se due persone contribuiscono alla stessa quantità, ma una sta dando una frazione dei loro fondi disponibili e l’altra sta dando tutto, dovrebbero ricevere la stessa quota dei proventi?

Questa questione di come redistribuire le risorse nelle nostre economie e società ha da tempo generato controversie tra filosofi, economisti e scienziati politici. Qui, utilizziamo l’apprendimento per rinforzo profondo come campo di prova per esplorare modi per affrontare questo problema.

Per affrontare questa sfida, abbiamo creato un semplice gioco che coinvolgeva quattro giocatori. Ogni istanza del gioco veniva giocata per 10 round. Ad ogni round, a ciascun giocatore venivano assegnati fondi, con la dimensione dell’endowment che variava tra i giocatori. Ogni giocatore faceva una scelta: potevano tenere quei fondi per sé stessi o investirli in un fondo comune. I fondi investiti erano garantiti a crescere, ma c’era un rischio, perché i giocatori non sapevano come sarebbero stati condivisi i proventi. Invece, veniva loro detto che per i primi 10 round c’era un arbitro (A) che prendeva le decisioni di redistribuzione e per i successivi 10 round un arbitro diverso (B) prendeva il controllo. Alla fine del gioco, votavano per A o B e giocavano un altro gioco con questo arbitro. Ai giocatori umani del gioco veniva consentito di tenere i proventi di questo ultimo gioco, quindi erano incentivati a riferire accuratamente le loro preferenze.

• Apprendimento intuitivo della fisica in un modello di deep-learning ispirato alla psicologia dello sviluppo
• Lavorare insieme a YouTube
• La più recente ricerca di DeepMind a ICML 2022

Nella realtà, uno degli arbitri era una politica di redistribuzione predefinita e l’altro era progettato dal nostro agente di apprendimento per rinforzo profondo. Per addestrare l’agente, abbiamo prima registrato i dati da un gran numero di gruppi umani e insegnato a una rete neurale a copiare come le persone giocavano al gioco. Questa popolazione simulata poteva generare dati illimitati, permettendoci di utilizzare metodi di apprendimento automatico intensivi di dati per addestrare l’agente RL a massimizzare i voti di questi giocatori “virtuali”. Fatto ciò, abbiamo quindi reclutato nuovi giocatori umani e abbiamo messo il meccanismo progettato dall’IA a confronto con basi ben note, come una politica libertaria che restituisce i fondi alle persone in proporzione ai loro contributi.

Quando abbiamo studiato i voti di questi nuovi giocatori, abbiamo scoperto che la politica progettata da RL profondo era più popolare delle basi. Infatti, quando abbiamo condotto un nuovo esperimento chiedendo a un quinto giocatore umano di assumere il ruolo di arbitro e addestrandolo per cercare di massimizzare i voti, la politica implementata da questo “arbitro umano” era comunque meno popolare rispetto a quella del nostro agente.

I sistemi di intelligenza artificiale sono stati talvolta criticati per imparare politiche che potrebbero essere incompatibili con i valori umani, e questo problema di “allineamento dei valori” è diventato una preoccupazione importante nella ricerca sull’IA. Un merito del nostro approccio è che l’IA impara direttamente a massimizzare le preferenze dichiarate (o i voti) di un gruppo di persone. Questo approccio potrebbe contribuire a garantire che i sistemi di intelligenza artificiale siano meno inclini a imparare politiche che sono insicure o ingiuste. Infatti, quando abbiamo analizzato la politica che l’IA aveva scoperto, essa incorporava una miscela di idee che sono state proposte in precedenza da pensatori umani ed esperti per risolvere il problema della redistribuzione.

In primo luogo, l’IA ha scelto di redistribuire i fondi alle persone in proporzione al loro contributo relativo anziché assoluto. Ciò significa che quando viene redistribuito il denaro, l’agente tiene conto delle risorse iniziali di ciascun giocatore, oltre alla loro volontà di contribuire. In secondo luogo, il sistema di intelligenza artificiale ha premiato in modo particolare i giocatori il cui contributo relativo era più generoso, incoraggiando forse gli altri a fare lo stesso. È importante notare che l’IA ha scoperto queste politiche imparando a massimizzare i voti umani. Il metodo garantisce quindi che gli esseri umani rimangano “nel loop” e che l’IA produca soluzioni compatibili con gli esseri umani.

Chiedendo alle persone di votare, abbiamo sfruttato il principio della democrazia maggioritaria per decidere cosa vogliono le persone. Nonostante il suo ampio appeal, è ampiamente riconosciuto che la democrazia comporta il caveat che le preferenze della maggioranza siano prese in considerazione rispetto a quelle della minoranza. Nel nostro studio, ci siamo assicurati che – come nella maggior parte delle società – quella minoranza fosse composta da giocatori più generosamente dotati. Ma è necessario fare ulteriori ricerche per capire come bilanciare le preferenze relative di maggioranza e minoranze, progettando sistemi democratici che permettano di ascoltare tutte le voci.