Esperti di Machine Learning – Margaret Mitchell

Margaret Mitchell esperta di Machine Learning

Ciao amici! Benvenuti a Machine Learning Experts. Sono la vostra conduttrice, Britney Muller, e l’ospite di oggi non è altro che Margaret Mitchell (Meg per gli amici). Meg ha fondato e co-diretto il Gruppo di Intelligenza Artificiale Etica di Google, è una pioniera nel campo del Machine Learning, ha pubblicato oltre 50 articoli ed è una ricercatrice di spicco nell’ambito dell’Intelligenza Artificiale Etica.

Ascolterete Meg parlare del momento in cui ha compreso l’importanza dell’Intelligenza Artificiale Etica (una storia incredibile!), di come i team di ML possano essere più consapevoli del bias dannoso dei dati e dei benefici di inclusione e diversità in ML, sia in termini di potenza che di prestazioni.

Sono molto entusiasta di presentarvi questo potente episodio! Ecco la mia conversazione con Meg Mitchell:

• Presentazione dei Decision Transformers su Hugging Face 🤗
• ~Non~ Ripeterti
• Habana Labs e Hugging Face si uniscono per accelerare l’addestramento dei modelli Transformer

Trascrizione:

Nota: La trascrizione è stata leggermente modificata e formattata per offrire una lettura di alta qualità.

Potresti raccontarci un po’ del tuo background e di cosa ti ha portato a Hugging Face?

Background della Dott.ssa Margaret Mitchell:

• Laurea in Linguistica presso il Reed College – ha lavorato su NLP
• Ha lavorato su tecnologie di assistenza e aumentative dopo la laurea e anche durante gli studi post-laurea
• Laurea Magistrale in Linguistica Computazionale presso l’Università di Washington
• Dottorato in Informatica

Meg: Ho svolto un intenso lavoro statistico come postdoc presso la Johns Hopkins e poi sono entrata a far parte della Microsoft Research, dove ho continuato a lavorare sulla generazione di linguaggio a partire da immagini, sviluppando un’applicazione chiamata Seeing AI per aiutare le persone non vedenti a navigare nel mondo in modo più semplice.

Dopo alcuni anni alla Microsoft, ho lasciato l’azienda per lavorare a Google, concentrandomi sui problemi dei big data legati all’apprendimento profondo. È qui che ho iniziato a occuparmi di questioni come l’equità, la valutazione rigorosa per diversi tipi di problemi e il bias. Durante il mio periodo a Google, ho fondato e co-diretto il Team di Intelligenza Artificiale Etica, che si concentra sull’inclusione e la trasparenza.

Dopo quattro anni a Google, sono passata a Hugging Face, dove mi sono concentrata sulla scrittura del codice. Sto contribuendo a creare protocolli per la ricerca sull’Intelligenza Artificiale Etica, l’assunzione inclusiva, i sistemi e l’instaurazione di una buona cultura qui a Hugging Face.

Quando hai compreso l’importanza dell’Intelligenza Artificiale Etica?

Meg: Questo è avvenuto quando lavoravo alla Microsoft, mentre stavo sviluppando la tecnologia di assistenza Seeing AI. In generale, stavo lavorando sulla generazione di linguaggio a partire da immagini e ho iniziato a notare quanto fossero distorte le informazioni dei dati. I dati rappresentano solo una parte del mondo e influenzano ciò che un modello dirà.

Quindi ho iniziato ad affrontare problemi in cui le persone di colore venivano descritte come “persone” mentre le persone nere venivano descritte come “persone nere”, come se il bianco fosse un valore predefinito e il nero una caratteristica rilevante. Questo mi ha preoccupato.

C’è stato anche un momento di illuminazione quando ho alimentato il mio sistema con una sequenza di immagini, cercando di farlo raccontare una storia su ciò che stava accadendo. Gli ho mostrato delle immagini di una grande esplosione in cui molte persone lavoravano, chiamata “esplosione di Hebstad”. Si poteva vedere che la persona che scattava la foto si trovava al secondo o terzo piano, affacciata sull’esplosione. L’esplosione era molto vicina a questa persona. Era un momento molto grave e intenso, ma quando ho dato queste immagini al sistema, l’output del sistema è stato “questa è fantastica, questa è una bellissima vista”. E ho pensato… questa è una bellissima vista di questa scena orribile, ma la cosa importante qui è che le persone potrebbero essere in pericolo. Questa è un’esplosione distruttiva di proporzioni enormi.

Ma la cosa è che, quando si impara dagli immagini, le persone tendono a fotografare cose terribili, scattano foto di tramonti, fuochi d’artificio, ecc., e un modello di riconoscimento visivo ha imparato da queste immagini a considerare il colore nel cielo come qualcosa di positivo e bello.

In quel momento, ho capito che se un modello con quel tipo di pensiero avesse accesso a delle azioni, sarebbe stato a un solo passo da un sistema che avrebbe fatto esplodere edifici perché pensava che fosse bello.

Questo è stato un momento in cui ho deciso che non volevo più puntare semplicemente a migliorare i risultati dei benchmark con questi sistemi, ma volevo cambiare in modo radicale il nostro approccio a questi problemi, al modo in cui analizziamo e valutiamo i dati, e a tutti i fattori che trascuriamo con queste pipeline tradizionali.

Quindi questo è diventato davvero il mio passaggio al lavoro sull’IA etica.

In quali applicazioni l’etica dei dati è più importante?

Meg: Tecnologie centrate sull’essere umano che si occupano di persone e identità (riconoscimento facciale, riconoscimento dei pedoni). NLP, invece, riguarda maggiormente la privacy degli individui, il modo in cui si parla delle persone e i modelli di bias rispetto agli attributi utilizzati per descrivere le persone.

Come possono le squadre di ML essere più consapevoli dei bias dannosi?

Meg: Un problema principale è che questi concetti non vengono insegnati e molte squadre semplicemente non ne sono consapevoli. Un altro problema è la mancanza di un lessico per contestualizzare e comunicare ciò che sta accadendo.

Ad esempio:

• Questo è ciò che significa marginalizzazione
• Questo è ciò che significa differenziale di potere
• Ecco cosa significa inclusione
• Ecco come funzionano gli stereotipi

Avere una migliore comprensione di questi pilastri è davvero importante.

Un altro problema è la cultura che circonda l’apprendimento automatico. Si è adottato un approccio un po’ “Alpha” o “macho” in cui l’attenzione è focalizzata sul “superare” i risultati precedenti, rendere le cose “più veloci”, “più grandi”, ecc. Ci sono molti paralleli che possono essere fatti con l’anatomia umana.

C’è anche una competizione molto ostile in cui le donne vengono trattate in modo sproporzionato come inferiori.

Dato che le donne sono spesso molto più familiari con la discriminazione, si stanno concentrando molto di più sull’etica, sugli stereotipi, sul sessismo, ecc. nell’ambito dell’IA. Questo significa che viene associato maggiormente alle donne e considerato meno importante, rendendo la cultura molto più difficile da penetrare.

In generale si assume che io non sia tecnica. È qualcosa che devo dimostrare più e più volte. Mi chiamano linguista, eticista perché sono cose a cui tengo e che conosco, ma vengono trattate come meno importanti. Le persone dicono o pensano: “Tu non programmi, non conosci le statistiche, non sei importante,” e spesso è solo quando inizio a parlare di cose tecniche che vengo presa sul serio, il che è un peccato.

C’è una barriera culturale enorme nell’ambito dell’apprendimento automatico.

La mancanza di diversità e inclusione fa male a tutti

Meg: La diversità si ha quando si hanno molte razze, etnie, generi, abilità, status intorno al tavolo. L’inclusione si ha quando ogni persona si sente a proprio agio a parlare, si sente benvenuta.

Uno dei modi migliori per essere più inclusivi è quello di non essere esclusivi. Sembra abbastanza ovvio ma spesso viene trascurato. Le persone vengono escluse dalle riunioni perché non le troviamo utili o le troviamo fastidiose o combattive (che è una conseguenza di vari bias). Per essere inclusivi, è necessario non essere esclusivi, quindi quando si programma una riunione, prestare attenzione alla composizione demografica delle persone che si invitano. Se la riunione è composta solo da uomini, c’è un problema.

È estremamente valido diventare più consapevoli e intenzionali riguardo alla composizione demografica delle persone che si includono in una e-mail. Ma noterete che nel settore tecnologico molte riunioni sono composte solo da uomini, e se lo si fa notare, ciò può essere accolto con molta ostilità. Siate propensi ad includere le persone.

Tutti abbiamo dei bias, ma ci sono tattiche per rompere alcuni di questi schemi. Quando scrivo una e-mail, verifico il loro genere ed etnie per assicurarmi di essere inclusiva. È uno sforzo molto consapevole. Questo tipo di riflessione sulla demografia aiuta. Tuttavia, menzionate questo prima che qualcuno invii una e-mail o programmi una riunione. Le persone tendono a non rispondere bene quando si menzionano queste cose dopo il fatto.

La diversità nell’IA – Non c’è una prova che avere un set di persone più diverse in un progetto di ML porta a risultati migliori?

Meg: Sì, poiché si hanno prospettive diverse si ha una distribuzione diversa delle opzioni e quindi, più opzioni. Uno degli aspetti fondamentali dell’apprendimento automatico è che quando si inizia l’addestramento si può utilizzare un punto di partenza casuale e il tipo di distribuzione da cui si vuole campionare.

La maggior parte degli ingegneri è d’accordo sul fatto che non si vuole campionare da un piccolo pezzo della distribuzione per avere la migliore possibilità di trovare un ottimo locale.

È necessario tradurre questo approccio alle persone sedute al tavolo.

Come vuoi avere un approccio gaussiano su diversi stati iniziali, così vuoi anche che al tavolo, quando inizi i progetti, perché ti offre uno spazio di ricerca più ampio, rendendo più facile raggiungere un ottimo locale.

Puoi parlare delle Model Cards e come è nato questo progetto?

Meg: Questo progetto è iniziato a Google quando ho iniziato a lavorare sulla giustizia e su come sarebbe una valutazione rigorosa della giustizia.

Per fare ciò, è necessario avere una comprensione del contesto e una comprensione di chi lo utilizzerà. Questo riguardava come affrontare i pregiudizi dei modelli e non riceveva molta attenzione.

Stavo parlando con Timnit Gebru che all’epoca era una persona nel settore con interessi simili ai miei e stava parlando di questa idea di datasheet; una sorta di documentazione per i dati (basata sulla sua esperienza in Apple) che fa l’ingegneria, dove tendi ad avere specifiche dell’hardware. Ma non abbiamo qualcosa di simile per i dati e lei parlava di quanto fosse strano.

Quindi Timnit aveva questa idea di datasheet per i dataset. Mi ha colpito che avendo un “artefatto” le persone nel campo tecnologico, che sono motivate dai lanci, si preoccuperebbero molto di più. Quindi se diciamo che devi produrre questo artefatto e che conta come un lancio, improvvisamente le persone sarebbero più incentivati a farlo.

Il modo in cui abbiamo pensato al nome era che una parola comparabile a “datasheet” che potesse essere utilizzata per i modelli era “card” (più corta). Abbiamo anche deciso di chiamarla “model cards” perché il nome era molto generico e avrebbe avuto una longevità nel tempo.

L’articolo di Timnit si chiamava “Data Sheets for Datasets”. Quindi abbiamo chiamato il nostro “Model Cards for Model Reporting” e una volta che abbiamo pubblicato l’articolo, le persone ci hanno preso più seriamente. Non avremmo potuto farlo senza la brillantezza di Timnit Gebru che ha suggerito “Hai bisogno di un artefatto, di una cosa standardizzata che le persone vogliono produrre”.

Dove stanno andando le model cards?

Meg: C’è una barriera abbastanza grande per fare le model cards in modo informato dall’etica. In parte perché le persone che devono compilare queste schede sono spesso ingegneri e sviluppatori che vogliono lanciare il loro modello e non vogliono stare lì a pensare alla documentazione e all’etica.

Parte del motivo per cui volevo unirmi a Hugging Face è perché mi ha dato l’opportunità di standardizzare come questi processi potrebbero essere compilati e automatizzati il più possibile. Una cosa che mi piace molto di Hugging Face è che c’è un focus sull’creazione di processi di apprendimento automatico end-to-end che siano il più fluidi possibile. Mi piacerebbe fare qualcosa di simile con le model cards, dove si potrebbe generare in modo quasi automatico in base a diverse domande poste o anche in base alle specifiche del modello.

Vogliamo lavorare per avere le model cards compilate il più possibile e interattive. L’interattività ti permetterebbe di vedere la differenza nel tasso di falsi negativi man mano che sposti la soglia di decisione. Normalmente con i sistemi di classificazione, si imposta una soglia a cui si dice sì o no, come 0.7, ma nella pratica, in realtà si vuole variare la soglia di decisione per bilanciare diversi errori.

Un rapporto statico su come funziona non è così informativo come vorresti che fosse perché vuoi sapere come funziona al variare delle soglie di decisione e puoi usarlo per decidere quale soglia di decisione utilizzare con il tuo sistema. Quindi abbiamo creato una model card in cui puoi modificare interattivamente la soglia di decisione e vedere come cambiano i numeri. Avanzare in quella direzione con un’automazione e un’interattività ulteriori è la strada da seguire.

Soglie di decisione e trasparenza del modello

Meg: Quando Amazon ha iniziato a lanciare la tecnologia di riconoscimento e analisi dei volti, si è scoperto che la classificazione del genere era sproporzionatamente cattiva per le donne di colore e Amazon ha risposto dicendo “questo è stato fatto utilizzando la soglia di decisione sbagliata”. E poi una delle agenzie di polizia che aveva utilizzato uno di questi sistemi è stata chiesta quale soglia di decisione stava utilizzando e ha detto: “Oh, non stiamo utilizzando una soglia di decisione”.

Il che è stato come oh, davvero non capite come funziona e state usando questo così com’è con le impostazioni dei parametri predefinite?! Questo è un problema. Quindi almeno avere questa documentazione porta consapevolezza alle decisioni relative ai vari tipi di parametri.

I modelli di apprendimento automatico sono così diversi dalle altre cose che mettiamo nel pubblico. I giocattoli, i medicinali e le auto hanno tutte una serie di regolamenti per garantire che i prodotti siano sicuri e funzionino come previsto. Non abbiamo tutto questo nell’apprendimento automatico, in parte perché è nuovo e quindi non esistono ancora leggi e regolamenti. È un po’ come il Far West e quello che stiamo cercando di cambiare con le model cards.

Su cosa stai lavorando in Hugging Face?

• Sto lavorando su diversi strumenti progettati per ingegneri.
• Sto lavorando sulla ricerca filosofica e scientifica sociale: ho appena approfondito la Dichiarazione Universale dei Diritti Umani (UDHR) e su come questi possano essere applicati con l’AI. Sto cercando di contribuire a colmare le lacune tra AI, ML, legge e filosofia.
• Sto cercando di sviluppare alcuni metodi statistici utili per testare i sistemi e comprendere i set di dati.
• Abbiamo anche recentemente lanciato uno strumento che mostra quanto bene una lingua si adatta alle distribuzioni zipfiane (come tende a essere il linguaggio naturale), in modo da poter testare quanto bene il tuo modello si adatta al linguaggio naturale in quel modo.
• Sto lavorando molto sulle questioni culturali: dedico molto tempo all’assunzione e a stabilire quali processi dovremmo avere in atto per essere più inclusivi.
• Sto lavorando su Big Science: un enorme sforzo con persone da tutto il mondo, non solo Hugging Face, che lavorano sulla governance dei dati (come possono essere utilizzati ed esaminati i big data senza che si diffondano ovunque/essere tracciati su come vengono utilizzati).
• A volte faccio interviste o parlo con un senatore, quindi è un lavoro molto vario.
• Cerco di rispondere alle email ogni tanto.

Nota: Tutti in Hugging Face indossano diversi cappelli. 🙂

L’impatto di Meg sull’AI

Meg è presente nel libro Genius Makers ‘I Mavericks che hanno portato l’AI a Google, Facebook e al Mondo’. Cade Metz ha intervistato Meg per questo libro mentre era a Google.

La ricerca pionieristica, i sistemi e il lavoro di Meg hanno svolto un ruolo fondamentale nella storia dell’AI. (siamo così fortunati ad averla in Hugging Face!)

Domande a raffica:

Il miglior consiglio per qualcuno che vuole entrare nell’IA?

Meg: Dipende da chi è la persona. Se ha caratteristiche marginalizzate, darei consigli molto diversi. Ad esempio, se fosse una donna, direi: “Non ascoltare i tuoi supervisori che dicono che non sei brava in questo. Molto probabilmente stai solo pensando a cose in modo diverso da come sono abituati, quindi abbi fiducia in te stessa.”

Se è qualcuno con caratteristiche più comuni, direi: “Dimentica il problema del flusso, presta attenzione alle persone intorno a te e fai in modo di sostenerle affinché il flusso in cui ti trovi diventi meno un problema.”

Inoltre, “Valuta i tuoi sistemi”.

In quali settori sei più entusiasta di vedere l’applicazione di ML (o l’applicazione di etica ML)

Meg: I settori della salute e dell’assistenza continuano ad essere aree a cui tengo molto e in cui vedo un enorme potenziale.

Vorrei anche vedere sistemi che aiutano le persone a comprendere i propri pregiudizi. Molta tecnologia viene creata per selezionare candidati a un lavoro per i colloqui di lavoro, ma ritengo che la tecnologia dovrebbe essere davvero concentrata sull’intervistatore e su come potrebbero affrontare la situazione con diversi pregiudizi. Mi piacerebbe avere più tecnologia che aiuti gli esseri umani ad essere più inclusivi anziché aiutarli ad escludere le persone.

Frequenti esempi di modelli di bias nelle tue presentazioni e interviste. Uno in particolare che mi piace è il modello di rilevamento dei criminali di cui hai parlato che utilizzava schemi di angoli della bocca per identificare i criminali (che hai prontamente smentito).

Meg: Sì, [l’esempio è che] stavano affermando che c’era un certo angolo theta che era più indicativo dei criminali quando era un angolo più piccolo. Tuttavia, guardando i calcoli, mi sono resa conto che quello di cui parlavano era un sorriso! Dove avresti un angolo più ampio per un sorriso rispetto a un angolo più piccolo associato a un volto serio. Hanno davvero frainteso ciò che stavano effettivamente catturando lì. Bias dell’esperimentatore: voler trovare cose che non ci sono.

Le persone dovrebbero temere che l’IA prenda il controllo del mondo?

Meg: Ci sono molte cose di cui avere paura con l’IA. Mi piace vederla come se avessimo una distribuzione su diversi tipi di risultati, alcuni più positivi di altri, quindi non c’è un unico insieme che possiamo conoscere. Ci sono molte cose diverse in cui l’IA può essere estremamente utile e più basata su compiti rispetto a un’intelligenza generalizzata. Puoi vederla andare in un’altra direzione, simile a quanto ho menzionato in precedenza su un modello che pensa che qualcosa di distruttivo sia bello, che è a un passo da un sistema in grado di premere un pulsante per far partire un missile. Non penso che le persone dovrebbero avere paura di per sé, ma dovrebbero pensare ai migliori e peggiori scenari e cercare di mitigare o fermare i peggiori risultati.

Credo che la cosa più grande in questo momento sia che questi sistemi possono ampliare il divario tra chi ha e chi non ha. Dando ulteriore potere alle persone che già hanno potere e peggiorando ulteriormente le cose per coloro che non lo hanno. Le persone che progettano questi sistemi tendono ad essere persone con più potere e ricchezza e progettano cose per i loro interessi. Penso che ciò stia accadendo proprio ora e che sia qualcosa da tenere presente in futuro.

Spero che possiamo concentrarci sulle cose che sono più vantaggiose e continuare a procedere in quella direzione.

Papers ML preferiti?

Meg: Di recente mi ha davvero colpito ciò che Abeba Birhane sta facendo sui valori che sono codificati nell’apprendimento automatico. Il mio team qui a Google ha lavorato sulle genealogie dei dati, portando un’analisi critica su come i dati dell’apprendimento automatico vengono gestiti, su cui hanno pubblicato alcuni articoli, ad esempio “Dati e i loro (dis)contenuti: una panoramica dello sviluppo e dell’uso dei dataset nella ricerca sull’apprendimento automatico”. Apprezzo davvero quel lavoro e potrei essere di parte perché include il mio team e i miei report diretti, sono molto orgogliosa di loro, ma è davvero un lavoro fondamentalmente buono.

Gli articoli precedenti che mi interessano riflettono di più ciò che stavo facendo in quel periodo. Apprezzo molto il lavoro di Herbert Clark, che era una persona di psicolinguistica/comunicazione e ha svolto molto lavoro che può essere facilmente adattato a modelli computazionali su come gli esseri umani comunicano. Apprezzo molto il suo lavoro e lo cito spesso nella mia tesi.

C’è qualcos’altro che vorresti menzionare?

Meg: Una delle cose su cui sto lavorando, e che penso che anche altre persone dovrebbero lavorare, è abbassare la barriera di accesso all’IA per le persone con diverse formazioni accademiche.

Abbiamo molte persone che sviluppano tecnologia, il che è fantastico, ma non abbiamo molte persone in una situazione in cui possono davvero mettere in discussione la tecnologia perché spesso c’è un collo di bottiglia.

Ad esempio, se vuoi conoscere i dati direttamente, devi essere in grado di accedere a un server e scrivere una query SQL. Quindi c’è un collo di bottiglia in cui gli ingegneri devono farlo e io voglio rimuovere quella barriera. Come possiamo prendere cose che sono fondamentalmente codice tecnico e aprirle in modo che le persone possano interrogare direttamente i dati senza sapere come programmare?

Potremo creare una tecnologia migliore quando rimuoviamo le barriere che richiedono agli ingegneri di essere nel mezzo.

Outro

Britney: Meg aveva un limite di tempo fisso, ma sono riuscita a farle la mia ultima domanda offline: Di cosa sei stata interessata ultimamente? La risposta di Meg: “Come propagare e far crescere piante in ambienti sintetici/controllati”. Proprio quando pensavo che non potesse diventare ancora più interessante. 🤯

Vi lascio con una citazione recente di Meg in un articolo di Science News sull’IA etica:

“Il problema più urgente è la diversità e l’inclusione di chi è al tavolo fin dall’inizio. Tutti gli altri problemi derivano da lì.” – Meg Mitchell.

Grazie per aver ascoltato gli esperti di apprendimento automatico!

Menzioni d’onore + link:

• Emily Bender
• Ehud Reiter
• Abeba Birhane
• Seeing AI
• Data Sheets per Dataset
• Model Cards
• Model Cards Paper
• Abeba Birhane
• I Valori Codificati nella Ricerca sull’Apprendimento Automatico
• Dati e i loro (dis)contenuti:
• Herbert Clark

Segui Meg online:

• Twitter
• Sito Web
• LinkedIn