Avvelenamento dei dati e crollo del modello il cataclisma imminente dell’IA

Avvelenamento dei dati e crollo del modello L'imminente cataclisma dell'IA

Strumenti AI generativi come ChatGPT sembrano troppo belli per essere veri: basta inserire una semplice richiesta e la piattaforma genera testo (o immagini, video, ecc.) su ordinazione.

Nel retroscena, ChatGPT e simili sfruttano vaste porzioni del World Wide Web come dati di addestramento – il ‘grande’ in ‘large language model’ (LLM) che dà a questa tecnologia il suo nome.

L’IA generativa ha però dei drawback. Favorisce la plausibilità sulla veridicità, generando spesso sciocchezze (vedi il mio recente articolo sulla sciocchezza).

Tuttavia, la sua mancanza di veridicità non è l’unico svantaggio. L’IA generativa ha tanto successo nella creazione di contenuti plausibili che le persone li stanno caricando nuovamente sul web, il che significa che la prossima volta che un modello IA generativo utilizzerà il Web per l’addestramento, si baserà su una quantità sempre maggiore di dati generati dall’IA.

• Trending AI GitHub Repos Settimana del 9 ottobre 2023
• Aragon AI Review Il Generatore di Ritratti AI Ultimativo del 2023?
• Trova le tue soluzioni AI all’esposizione ODSC West AI

Tuttavia, questo ciclo di feedback simile a un Ouroboros è una brutta cosa, poiché porta al collasso del modello e all’avvelenamento dei dati. Dato che non ci sono modi pratici per prevenire questi problemi, questo ciclo potrebbe rendere la maggior parte o tutta l’IA inutilizzabile.

Analizziamo da vicino.

Collasso del Modello e Avvelenamento dei Dati

Il collasso del modello si verifica quando i modelli di IA si addestrano su contenuti generati dall’IA stessa. È un processo in cui gli errori o i bias nei dati generati si accumulano ad ogni ciclo, deviando infine il modello dalla generazione di inferenze basate sulla distribuzione originale dei dati.

In altre parole, il modello finisce per dimenticare completamente i dati originali e crea solo rumore inutile.

L’avvelenamento dei dati è un processo correlato ma diverso. L’avvelenamento dei dati è un tipo di attacco informatico in cui un cattivo attore introduce intenzionalmente informazioni fuorvianti nei set di dati di addestramento per far sì che il modello generi risultati scadenti – o, in realtà, qualsiasi risultato desiderato dal cattivo attore.

L’avvelenamento dei dati di Microsoft’s Twitter chatbot Tay nel 2016 è un esempio familiare di avvelenamento dei dati. Gli utenti hanno fornito a Tay tweet offensivi, addestrandolo a comportarsi in modo ostile.

Sebbene il collasso del modello e l’avvelenamento dei dati siano problemi diversi, la loro sovrapposizione è particolarmente inquietante. Se i cattivi attori utilizzano l’IA per generare dati avvelenati con l’intenzione di far collassare un modello, è probabile che raggiungano i loro obiettivi loschi senza essere individuati.

Il Problema con i Set di Dati Pubblici

Le persone stanno avvelenando il Web continuamente. Forse anche tu l’hai fatto. Tutto ciò che devi fare per compiere questo atto nefasto è pubblicare un qualsiasi contenuto generato dall’IA online.

L’avvelenamento, dopotutto, può essere sia intenzionale che involontario. Mentre l’avvelenamento dei dati intenzionale è una minaccia informatica, l’avvelenamento accidentale sta accadendo continuamente sul web, sui social media, nelle intranet, nei canali Slack e ovunque le persone possano pubblicare contenuti generati dall’IA.

In realtà, il collasso del modello non è l’unico risultato indesiderato dell’avvelenamento del Web. Anche qualsiasi motore di ricerca è un obiettivo.

I motori di ricerca raccolgono dati dal web molto prima che i LLM entrassero in scena. Ma ora che il gatto dell’IA generativa è fuoriuscito dalla borsa, quanto è probabile che i risultati di una ricerca su Google siano pagine con contenuti generati dall’IA?

Forse la percentuale dei risultati di ricerca generati dall’IA oggi è relativamente bassa, ma questa percentuale aumenterà nel tempo. Se questa tendenza si verificherà, i motori di ricerca diventeranno sempre più inutili, in quanto troveranno solo contenuti avvelenati, mentre i LLM che si basano sugli stessi contenuti collasseranno inevitabilmente.

Avvelenamento Sintetico: Il Fentanyl dell’IA

L’avvelenamento dei dati può essere intenzionale o accidentale, ma c’è una terza possibilità: i dati di addestramento sintetici.

In alcune situazioni, utilizzare set di dati reali per addestrare LLM non è pratico, ad esempio se quei set di dati includono informazioni private come i fascicoli sanitari.

Invece, gli specialisti dell’IA utilizzano l’IA per creare set di dati sintetici – set di dati che dovrebbero assomigliare ai set di dati reali in tutti i modi, tranne che non contengano le informazioni sensibili in questione.

Tuttavia, poiché l’IA crea i dati sintetici, c’è il rischio che i set di dati che hanno addestrato la creazione dei dati sintetici includessero dati creati dall’IA stessa, stabilendo così il nefasto ciclo di feedback che porta al collasso del modello.

Come Risolvere il Problema dell’Avvelenamento dei Dati/Collasso del Modello

Le soluzioni più ovvie a questo problema sono le più impraticabili. Certamente, potremmo vietare alle persone di pubblicare contenuti generati da intelligenza artificiale online o di usarli per addestrare i nostri modelli. L’applicazione di un tale divieto, tuttavia, sarebbe impossibile.

Potremmo anche migliorare i nostri modelli di intelligenza artificiale in modo tale che riconoscano i contenuti generati da intelligenza artificiale ed escludano tali contenuti dagli algoritmi di addestramento. Anche questa soluzione è impraticabile, poiché la tecnologia per ingannare gli strumenti di rilevamento dei contenuti generati da intelligenza artificiale sembra avanzare più rapidamente degli strumenti stessi. Al massimo, funzionerebbe solo parte del tempo – ma i dati avvelenati che si infiltrano comunque collasserebbero i modelli.

La soluzione migliore, data lo stato dell’arte delle tecnologie coinvolte, è evitare di addestrare i modelli su dati pubblici o sintetici generati da intelligenza artificiale. In altre parole, le organizzazioni devono curare attentamente i propri set di dati di addestramento, selezionando solo set di dati di origine “integri” che possono verificare ed escludendo i dati generati da intelligenza artificiale.

Allenare LLM sulla rete odierna è fuori luogo. L’unico modo per usare il Web in modo sicuro sarebbe utilizzare solo pagine che risalgano a prima che l’intelligenza artificiale generativa diventasse una cosa. Non c’è da meravigliarsi che Internet Archive stia registrando un tale aumento dei download.

I dati sintetici sono un problema più difficile. Le organizzazioni potrebbero certamente creare dati sintetici senza l’uso di intelligenza artificiale (come hanno fatto per anni), ma avrebbero comunque gli stessi problemi che hanno sempre avuto con tali set di dati: introdurre errori umani e pregiudizi in essi.

Forse i dati sintetici possono evitare il problema dell’avvelenamento dei dati e del collasso del modello se i dati di addestramento per i modelli di creazione dei dati sintetici utilizzano set di dati attentamente selezionati che escludono tutti i contenuti generati da intelligenza artificiale.

Il punto di vista di Intellyx

Possiamo pensare all’intelligenza artificiale generativa come agli antibiotici: farmaci meravigliosi al loro esordio che sono diventati sempre più problematici nel tempo a causa della resistenza fino a smettere di funzionare del tutto.

O forse dovremmo considerare i set di dati pubblici come il World Wide Web come una risorsa limitata nonostante le dimensioni incomprensibili e la crescita inesorabile del Web stesso.

La presenza di contenuti generati da intelligenza artificiale si diffonderà comunque come una epidemia, avvelenando i risultati delle ricerche e facendo collassare i modelli di intelligenza artificiale che dipendono da tali informazioni pubbliche per il loro addestramento.

La buona notizia è che la curation è una soluzione praticabile – e infatti, molte applicazioni aziendali dell’intelligenza artificiale generativa dipendono già da contenuti curati.

Tuttavia, tale curation richiede una vigilanza continua. Limitarsi a sostenere che un’organizzazione è immune dal collasso del modello perché utilizza esclusivamente dati aziendali come fonte di addestramento potrebbe condurre a una pericolosa sensazione di compiacenza.

Senza un monitoraggio e una governance attenti, anche set di dati attentamente curati possono incorporare involontariamente contenuti generati da intelligenza artificiale. L’antidoto a tale compiacenza è una vigilanza costante.