AI generativa La prima bozza, non la versione finale

IA generativa La prima bozza, non la versione finale

Di: Numa Dhamani & Maggie Engler

Si può dire che l’IA sta vivendo un momento di grande successo. Da quando l’agente conversazionale ChatGPT di OpenAI è diventato inaspettatamente virale alla fine dell’anno scorso, l’industria tecnologica è in fermento per quanto riguarda i grandi modelli di linguaggio (LLM), la tecnologia alla base di ChatGPT. Google, Meta e Microsoft, oltre a start-up ben finanziate come Anthropic e Cohere, hanno tutti lanciato prodotti LLM propri. Aziende di tutti i settori si sono affrettate ad integrare i LLM nei loro servizi: OpenAI, da sola, vanta clienti che vanno dalle fintech come Stripe che alimentano i chatbot del servizio clienti, alle edtech come Duolingo e Khan Academy che generano materiale didattico, alle aziende di videogiochi come Inworld che sfruttano i LLM per fornire dialoghi per i personaggi non giocabili in tempo reale. Grazie a queste partnership e a un’adozione diffusa, si stima che OpenAI raggiungerà un fatturato annuo superiore al miliardo di dollari. È facile rimanere impressionati dalla dinamicità di questi modelli: il rapporto tecnico su GPT-4, l’ultimo dei LLM di OpenAI, mostra che il modello ottiene punteggi impressionanti su una vasta gamma di test accademici e professionali, compreso l’esame di avvocato, il SAT, LSAT e GRE, e gli esami AP in materie come storia dell’arte, psicologia, statistica, biologia ed economia.

Questi risultati eclatanti potrebbero far pensare alla fine del lavoro intellettuale, ma c’è una differenza fondamentale tra GPT-4 e un esperto umano: GPT-4 non possiede alcuna comprensione. Le risposte che GPT-4 e tutti i LLM generano non derivano da processi di ragionamento logico, ma da operazioni statistiche. I grandi modelli di linguaggio vengono addestrati su vaste quantità di dati provenienti dal web. I web crawler, bot che visitano milioni di pagine web e scaricano i loro contenuti, producono dataset di testo proveniente da ogni tipo di sito: social media, wiki e forum, siti di notizie e intrattenimento. Questi dataset di testo contengono miliardi o trilioni di parole, che per la maggior parte sono disposte in linguaggio naturale: parole che formano frasi, frasi che formano paragrafi.

Per imparare a produrre testo coerente, i modelli si allenano su questi dati su milioni di esempi di completamento di testo. Ad esempio, il dataset per un determinato modello potrebbe contenere frasi come “Era una notte buia e tempestosa” e “La capitale della Spagna è Madrid”. Ripetutamente, il modello cerca di prevedere la parola successiva dopo aver visto “Era una notte buia e” o “La capitale della Spagna è”, quindi controlla se ha indovinato o meno, aggiornandosi ogni volta che sbaglia. Nel tempo, il modello diventa sempre più bravo in questo compito di completamento del testo, tanto che per molti contesti – specialmente quelli in cui la parola successiva è quasi sempre la stessa, come “La capitale della Spagna è” – la risposta considerata più probabile dal modello è quella che un essere umano considererebbe “corretta”. Nei contesti in cui la parola successiva potrebbe essere diversa, come “Era una notte buia e”, il modello imparerà a selezionare ciò che gli esseri umani considererebbero essere almeno una scelta ragionevole, magari “tempestosa”, ma forse anche “sinistra” o “muffa”. Questa fase del ciclo di vita del LLM, in cui il modello si allena su ampi dataset di testo, è chiamata preaddestramento. Per alcuni contesti, semplicemente prevedere quale parola dovrebbe venire dopo potrebbe non portare necessariamente ai risultati desiderati; il modello potrebbe non essere in grado di capire che dovrebbe rispondere a istruzioni come “Scrivi una poesia su un cane” con una poesia anziché continuare con l’istruzione. Per produrre determinati comportamenti come il seguire istruzioni e migliorare la capacità del modello di svolgere determinate attività, come scrivere codice o avere conversazioni informali con le persone, i LLM sono quindi allenati su dataset mirati progettati per includere esempi di tali compiti.

Tuttavia, proprio il fatto che i LLM siano addestrati a generare testo prevedendo le parole più probabili porta a un fenomeno noto come allucinazioni, una falla tecnica ben documentata in cui i LLM generano con certezza informazioni e spiegazioni errate quando vengono sollecitati. La capacità dei LLM di prevedere e completare il testo si basa su modelli appresi durante il processo di addestramento, ma di fronte a completamenti incerti o con più possibilità, i LLM selezionano l’opzione che sembra più plausibile, anche se priva di basi nella realtà.

Ad esempio, quando Google ha lanciato il suo chatbot, Bard, ha commesso un errore di fatto nella sua prima dimostrazione pubblica. Bard ha “infamemente affermato” che il telescopio spaziale James Webb (JWST) “ha scattato le prime immagini di un pianeta al di fuori del nostro sistema solare”. Ma in realtà, la prima immagine di un esopianeta è stata scattata nel 2004 dal Very Large Telescope (VLT), mentre il JWST non è stato lanciato fino al 2021.

Le allucinazioni non sono l’unico difetto dei LLM – l’addestramento su una quantità enorme di dati provenienti da internet porta anche a problemi di pregiudizi e diritti d’autore. Iniziamo parlando di pregiudizi, che si riferiscono a produzioni diverse di un modello in base a attributi dell’identità personale, come razza, genere, classe o religione. Dato che i LLM imparano caratteristiche e modelli dai dati di internet, ereditano anche pregiudizi simili a quelli umani, ingiustizie storiche e associazioni culturali. Mentre gli esseri umani sono di per sé di parte, i LLM lo sono ancora di più in quanto tendono ad amplificare i pregiudizi presenti nei dati di addestramento. Per i LLM, gli uomini sono medici, ingegneri e CEO di successo, le donne sono receptionist e infermiere belle e di supporto, e le persone LGBTQ non esistono.

L’addestramento dei LLM su quantità inimmaginabili di dati provenienti da internet pone anche interrogativi riguardo ai problemi di copyright. Il copyright è il diritto esclusivo su un’opera creativa, dove il detentore del copyright è l’unico soggetto con l’autorità di riprodurre, distribuire, esporre o eseguire l’opera per una durata definita.

Attualmente, la principale preoccupazione legale riguardo ai LLM non è incentrata sulla copyrightabilità delle loro produzioni, ma piuttosto sulla potenziale violazione dei copyright esistenti degli artisti e degli scrittori le cui opere contribuiscono ai dataset di addestramento. La Authors Guild ha chiesto a OpenAI, Google, Meta, Microsoft e altri di accordarsi, attribuire il credito e compensare equamente gli scrittori per l’utilizzo di materiali protetti da copyright nell’addestramento dei LLM. Alcuni autori ed editori hanno preso in mano la situazione.

Gli sviluppatori dei LLM stanno attualmente affrontando diverse cause legali da parte di individui e gruppi per motivi di copyright: Sarah Silverman, una comica e attrice, si è unita a un gruppo di autori ed editori che ha intentato una causa contro OpenAI, sostenendo di non aver mai dato il permesso di utilizzare i loro libri protetti da copyright per addestrare i LLM.

Anche se le preoccupazioni relative alle allucinazioni, ai pregiudizi e al copyright sono tra i problemi più documentati associati ai LLM, non sono affatto le uniche preoccupazioni. Alcuni LLM codificano informazioni sensibili, producono risultati indesiderati o tossici e possono essere sfruttati da avversari. Senza dubbio, i LLM eccellono nella generazione di testo coerente e rilevante dal punto di vista contestuale e dovrebbero sicuramente essere sfruttati per migliorare l’efficienza, tra gli altri benefici, in una moltitudine di compiti e scenari.

I ricercatori stanno lavorando anche per affrontare alcuni di questi problemi, ma come controllare al meglio le produzioni dei modelli rimane una questione di ricerca aperta, quindi i LLM esistenti sono tutt’altro che infallibili. Le loro produzioni devono sempre essere esaminate per accuratezza, veridicità e possibili pregiudizi. Se ricevete un output che è troppo bello per essere vero, dovreste fare attenzione e analizzarlo attentamente. La responsabilità di convalidare e modificare qualsiasi testo generato dai LLM, o come ci piace dire, dall’IA generativa, è nelle mani degli utenti: è solo una bozza, non il definitivo.

  Maggie Engler è un’ingegnere e ricercatrice che attualmente lavora sulla sicurezza per modelli di linguaggio di grandi dimensioni. Si concentra sull’applicazione della scienza dei dati e dell’apprendimento automatico agli abusi nell’ecosistema online ed è un’esperta nel campo della cybersecurity e della fiducia e sicurezza. Maggie è un’educatrice e comunicatrice impegnata, insegna come docente aggiunto presso la School of Information dell’Università del Texas ad Austin.

[Numa Dhamani](https://www.linkedin.com/in/numadhamani/) è un’ingegnere e ricercatrice che lavora all’intersezione tra tecnologia e società. È un’esperta di elaborazione del linguaggio naturale con competenze nel campo delle operazioni di influenza, della sicurezza e della privacy. Numa ha sviluppato sistemi di apprendimento automatico per aziende Fortune 500 e piattaforme di social media, nonché per start-up e organizzazioni non profit. Ha fornito consulenza a diverse società ed organizzazioni, è stata il ricercatore principale nei programmi di ricerca del Dipartimento della Difesa degli Stati Uniti e ha contribuito a diverse riviste internazionali sottoposte a peer review.