IA responsabile presso Google Research Equità nella percezione

IA responsabile presso Google Research Equità nella percezione' can be condensed to 'IA responsabile Google Research Equità

Pubblicato da Susanna Ricco e Utsav Prabhu, co-leader, Perception Fairness Team, Ricerca di Google

La ricerca di Google sull’IA responsabile si basa su una fondazione di collaborazione: tra team con background e competenze diverse, tra ricercatori e sviluppatori di prodotti e, in definitiva, con la comunità nel suo complesso. Il team Perception Fairness fa progressi combinando una profonda competenza nella visione artificiale e nell’equità dell’apprendimento automatico (ML) con collegamenti diretti con i ricercatori che sviluppano i sistemi di percezione che alimentano i prodotti di Google e non solo. Insieme, stiamo lavorando per progettare intenzionalmente i nostri sistemi in modo inclusivo fin dall’inizio, guidati dai principi di IA di Google.

La ricerca sulla Perception Fairness riguarda la progettazione, lo sviluppo e l’implementazione di modelli multimodali avanzati, compresi gli ultimi modelli di base e generativi che alimentano i prodotti di Google.

La missione del nostro team è far avanzare i confini dell’equità e dell’inclusione nei sistemi ML multimodali, in particolare per quanto riguarda i modelli di base e l’IA generativa. Questo comprende componenti tecnologiche fondamentali come classificazione, localizzazione, didascalie, recupero, risposte alle domande visive, generazione di testo-immagine o testo-video e modifica generativa di immagini e video. Crediamo che l’equità e l’inclusione possano e debbano essere obiettivi di prestazione di primo piano per queste applicazioni. La nostra ricerca è incentrata sullo sblocco di analisi e soluzioni innovative che ci consentano di progettare in modo proattivo per questi obiettivi durante l’intero ciclo di sviluppo. Rispondiamo a domande fondamentali, come ad esempio: come possiamo utilizzare l’IA per modellare responsabilmente e fedelmente la percezione umana delle identità demografiche, culturali e sociali al fine di promuovere l’equità e l’inclusione? Quali tipi di pregiudizi del sistema (ad esempio, prestazioni inferiori su immagini di persone con determinati toni di pelle) possiamo misurare e come possiamo utilizzare queste metriche per progettare algoritmi migliori? Come possiamo costruire algoritmi e sistemi più inclusivi e reagire rapidamente in caso di malfunzionamenti?

Misurazione della rappresentazione delle persone nei media

I sistemi ML in grado di modificare, curare o creare immagini o video possono influenzare chiunque venga esposto ai loro risultati, plasmando o rafforzando le convinzioni degli spettatori di tutto il mondo. La ricerca per ridurre i danni rappresentativi, come il rafforzamento degli stereotipi o la denigrazione o l’eliminazione di gruppi di persone, richiede una profonda comprensione sia del contenuto che del contesto sociale. Dipende da come diversi osservatori percepiscono se stessi, le loro comunità o come gli altri vengono rappresentati. Nel campo c’è un notevole dibattito su quali categorie sociali debbano essere studiate con strumenti computazionali e come farlo in modo responsabile. La nostra ricerca si concentra nel lavorare verso soluzioni scalabili che siano informate dalla sociologia e dalla psicologia sociale, che siano allineate alla percezione umana, che abbraccino la natura soggettiva del problema e che consentano una misurazione e una mitigazione sfumate. Un esempio è la nostra ricerca sulle differenze nella percezione umana e nell’annotazione del tono della pelle in immagini utilizzando la scala Monk Skin Tone.

• L’IA può individuare i segni precoci di uno tsunami dalle onde d’urto atmosferiche
• Aprire la scatola nera
• Assistente vocale personale basato su intelligenza artificiale per l’apprendimento delle lingue

I nostri strumenti vengono anche utilizzati per studiare la rappresentazione in collezioni di contenuti su larga scala. Attraverso il nostro progetto Media Understanding for Social Exploration (MUSE), ci siamo associati a ricercatori accademici, organizzazioni non profit e importanti marchi di consumo per comprendere i modelli nei media mainstream e nei contenuti pubblicitari. Abbiamo pubblicato per la prima volta questo lavoro nel 2017, con uno studio in co-autorato che analizza l’equità di genere nei film di Hollywood. Da allora, abbiamo aumentato la portata e la profondità delle nostre analisi. Nel 2019, abbiamo pubblicato risultati basati su oltre 2,7 milioni di annunci su YouTube. Nello studio più recente, esaminiamo la rappresentazione attraverso l’intersezione della presentazione di genere percepita, dell’età percepita e del tono della pelle in oltre dodici anni di popolari programmi televisivi statunitensi. Questi studi forniscono informazioni per creatori di contenuti e inserzionisti e informano ulteriormente la nostra ricerca.

Un’illustrazione (non dati reali) di segnali computazionali che possono essere analizzati su larga scala per rivelare modelli rappresentativi in collezioni di media. [Video Collection / Getty Images]

Andando avanti, stiamo ampliando i concetti di equità dell’Apprendimento Automatico su cui ci concentriamo e i domini in cui vengono applicati in modo responsabile. Guardando oltre le immagini fotorealistiche delle persone, stiamo lavorando per sviluppare strumenti che modellano la rappresentazione delle comunità e delle culture nelle illustrazioni, nelle rappresentazioni astratte di personaggi umanoidi e persino nelle immagini senza persone. Infine, dobbiamo ragionare non solo su chi è rappresentato, ma su come sono ritratti: quale narrazione viene comunicata attraverso il contesto dell’immagine circostante, il testo di accompagnamento e il contesto culturale più ampio.

Analisi delle proprietà di bias dei sistemi percettivi

Costruire sistemi di Apprendimento Automatico avanzati è complesso, con molteplici stakeholder che influenzano i vari criteri che determinano il comportamento del prodotto. La qualità complessiva è stata storicamente definita e misurata utilizzando statistiche riassuntive (come l’accuratezza complessiva) su un set di dati di test come proxy per l’esperienza utente. Ma non tutti gli utenti vivono i prodotti allo stesso modo.

L’Equità della Percezione consente una misurazione pratica del comportamento del sistema più sottile rispetto alle statistiche riassuntive e rende queste metriche fondamentali per la qualità del sistema che informa direttamente i comportamenti del prodotto e le decisioni di lancio. Spesso questa operazione è molto più difficile di quanto sembri. Ridurre le problematiche complesse di bias (ad esempio, disparità nelle prestazioni tra sottogruppi intersezionali o casi di rinforzo degli stereotipi) a un numero ridotto di metriche senza perdere importanti sfumature è estremamente impegnativo. Un’altra sfida è bilanciare l’interazione tra le metriche di equità e altre metriche del prodotto (ad esempio, la soddisfazione dell’utente, l’accuratezza, la latenza), che spesso sono descritte come conflittuali nonostante siano compatibili. È comune per i ricercatori descrivere il loro lavoro come un trade-off “accuratezza-equità” quando in realtà la soddisfazione diffusa degli utenti è allineata con gli obiettivi di equità e inclusione.

Abbiamo creato e rilasciato il dataset MIAP come parte di Open Images, sfruttando la nostra ricerca sulla percezione di concetti socialmente rilevanti e sulla rilevazione di comportamenti di bias in sistemi complessi per creare una risorsa che promuove la ricerca sull’equità dell’Apprendimento Automatico nella computer vision. Crediti fotografici originali: sinistra: Boston Public Library; centro: jen robinson; destra: Garin Fons; tutti utilizzati con il permesso della licenza CC-BY 2.0.

Per raggiungere questi obiettivi, il nostro team si concentra su due ampie direzioni di ricerca. In primo luogo, democratizzare l’accesso a strumenti di analisi dell’equità ben compresi e ampiamente applicabili, coinvolgendo organizzazioni partner nell’adozione di tali strumenti nei flussi di lavoro dei prodotti e informando la dirigenza aziendale nell’interpretazione dei risultati. Questo lavoro include lo sviluppo di benchmark ampi, la curatela di set di dati di test di alta qualità ampiamente utili e strumenti incentrati su tecniche come l’analisi a fette e il testing contrefattuale, spesso basandosi sul lavoro sui segnali di rappresentazione di base descritto in precedenza. In secondo luogo, avanzare approcci innovativi per l’analisi dell’equità, inclusa la collaborazione con gli sforzi dei prodotti che possono portare a risultati innovativi o informare la strategia di lancio.

Avanzare nell’IA in modo responsabile

Il nostro lavoro non si ferma all’analisi del comportamento del modello. Piuttosto, lo utilizziamo come punto di partenza per individuare miglioramenti algoritmici in collaborazione con altri ricercatori e ingegneri dei team di prodotto. Negli ultimi anni abbiamo lanciato componenti aggiornate che alimentano le funzionalità di Ricerca e Memorie in Google Photos, garantendo una performance più coerente e migliorando drasticamente la robustezza attraverso l’aggiunta di livelli che impediscono ai errori di propagarsi nel sistema. Stiamo lavorando per migliorare gli algoritmi di ranking in Google Images per diversificare la rappresentazione. Abbiamo aggiornato gli algoritmi che potrebbero rafforzare gli stereotipi storici, utilizzando segnali aggiuntivi in modo responsabile, in modo che sia più probabile che tutti vedano riflessa la propria identità nei risultati di ricerca e trovino ciò che stanno cercando.

Questo lavoro si estende naturalmente al mondo dell’IA generativa, dove i modelli possono creare collezioni di immagini o video generati a partire da prompt di immagini e testo e possono rispondere a domande su immagini e video. Siamo entusiasti del potenziale di queste tecnologie nel fornire nuove esperienze agli utenti e come strumenti per approfondire le nostre ricerche. Per rendere ciò possibile, collaboriamo con le comunità della ricerca e dell’IA responsabile per sviluppare linee guida che mitigano i modi in cui si possono verificare fallimenti. Utilizziamo i nostri strumenti per comprendere la rappresentazione per creare benchmark scalabili che possono essere combinati con il feedback umano e investiamo nella ricerca dalla preformazione al deployment per guidare i modelli a generare output di migliore qualità, più inclusivi e più controllabili. Vogliamo che questi modelli ispirino le persone, producendo risultati diversi, traducendo concetti senza ricorrere a cliché o stereotipi e fornendo comportamenti e risposte coerenti attraverso variazioni controfattuali dei prompt.

Opportunità e lavori in corso

Nonostante oltre un decennio di lavoro concentrato, il campo delle tecnologie di equità nella percezione sembra ancora un settore giovane e in rapida crescita, ricco di opportunità per tecniche innovative. Continuiamo a vedere opportunità per contribuire con progressi tecnici supportati da studi interdisciplinari. Il divario tra ciò che possiamo misurare nelle immagini rispetto agli aspetti sottostanti dell’identità e dell’espressione umana è ampio: per colmare questo divario saranno necessarie soluzioni di analisi dei media sempre più complesse. Le metriche dei dati che indicano una rappresentazione veritiera, situata nel contesto appropriato e che tiene conto di una diversità di punti di vista, rappresentano ancora una sfida aperta per noi. Possiamo arrivare a un punto in cui possiamo identificare in modo affidabile rappresentazioni di stereotipi sfumati, aggiornarli continuamente per riflettere una società in continua evoluzione e individuare situazioni in cui potrebbero essere offensive? I progressi algoritmici guidati dai feedback umani indicano una promettente via avanti.

Recentemente, l’attenzione sulla sicurezza e l’etica dell’IA nel contesto dello sviluppo moderno di modelli di grandi dimensioni ha stimolato nuovi modi di pensare alla misurazione dei pregiudizi sistemici. Stiamo esplorando più strade per utilizzare questi modelli, insieme agli sviluppi recenti nei metodi di spiegabilità basati su concetti, nei metodi di inferenza causale e nella ricerca all’avanguardia sull’esperienza utente, per quantificare e ridurre al minimo comportamenti indesiderati e bias. Non vediamo l’ora di affrontare le sfide future e sviluppare una tecnologia che sia accessibile a tutti.

Ringraziamenti

Vorremmo ringraziare tutti i membri del team di Equità nella Percezione e tutti i nostri collaboratori.