Il ciclo di feedback dell’IA mantenere la qualità della produzione del modello nell’era dei contenuti generati dall’IA

Il ciclo di feedback dell'IA per la qualità della produzione del modello nell'era dei contenuti generati dall'IA

I modelli di intelligenza artificiale implementati in produzione hanno bisogno di un meccanismo robusto e continuo di valutazione delle prestazioni. È qui che può essere applicato un ciclo di feedback dell’IA per garantire una prestazione coerente del modello.

Prendiamo spunto da Elon Musk:

“Penso che sia molto importante avere un ciclo di feedback, in cui si è costantemente concentrati su ciò che è stato fatto e su come si potrebbe farlo meglio.”

Per tutti i modelli di intelligenza artificiale, la procedura standard consiste nel distribuire il modello e quindi riformarlo periodicamente sui dati reali più recenti per garantire che le sue prestazioni non si deteriorino. Tuttavia, con la rapida crescita dell’IA generativa, l’addestramento dei modelli di intelligenza artificiale è diventato anomalo e soggetto a errori. Questo perché le fonti di dati online (internet) stanno gradualmente diventando una miscela di dati generati dall’uomo e dati generati dall’IA.

• Apprendimento Multi-Task nei Sistemi di Raccomandazione Una Guida Introduttiva
• Come modellare la molteplice stagionalità nelle serie temporali
• Tutto ciò che devi sapere sull’apprendimento in contesto

Ad esempio, molti blog di oggi presentano testi generati dall’IA alimentati da moduli di grande linguaggio (LLM) come ChatGPT o GPT-4. Molte fonti di dati contengono immagini generate dall’IA create utilizzando DALL-E2 o Midjourney. Inoltre, i ricercatori di intelligenza artificiale utilizzano dati sintetici generati dall’IA generativa nei loro flussi di addestramento del modello.

Pertanto, abbiamo bisogno di un meccanismo robusto per garantire la qualità dei modelli di intelligenza artificiale. È qui che la necessità di cicli di feedback dell’IA diventa più amplificata.

Cosa è un Ciclo di Feedback dell’IA?

Un ciclo di feedback dell’IA è un processo iterativo in cui le decisioni e le uscite di un modello di intelligenza artificiale vengono continuamente raccolte e utilizzate per migliorare o riformare lo stesso modello, ottenendo così apprendimento continuo, sviluppo e miglioramento del modello. In questo processo, i dati di addestramento del sistema di intelligenza artificiale, i parametri del modello e gli algoritmi vengono aggiornati e migliorati in base agli input generati all’interno del sistema.

Principalmente ci sono due tipi di cicli di feedback dell’IA:

1. Cicli di Feedback Positivi dell’IA: Quando i modelli di intelligenza artificiale generano risultati accurati che si allineano alle aspettative e alle preferenze degli utenti, gli utenti forniscono un feedback positivo tramite un ciclo di feedback, che a sua volta rafforza l’accuratezza dei futuri risultati. Un tale ciclo di feedback viene definito positivo.
2. Cicli di Feedback Negativi dell’IA: Quando i modelli di intelligenza artificiale generano risultati inaccurati, gli utenti segnalano difetti tramite un ciclo di feedback che cerca di migliorare la stabilità del sistema correggendo i difetti. Un tale ciclo di feedback viene definito negativo.

Entrambi i tipi di cicli di feedback dell’IA consentono un continuo sviluppo del modello e un miglioramento delle prestazioni nel tempo. E non vengono utilizzati o applicati in modo isolato. Insieme, aiutano i modelli di intelligenza artificiale implementati in produzione a distinguere ciò che è giusto da ciò che è sbagliato.

Fasi dei Cicli di Feedback dell’IA

Un’illustrazione di alto livello del meccanismo di feedback nei modelli di intelligenza artificiale. Fonte

Comprendere come funzionano i cicli di feedback dell’IA è significativo per sfruttare appieno il potenziale dello sviluppo dell’IA. Esploriamo le varie fasi dei cicli di feedback dell’IA di seguito.

1. Raccolta del Feedback: Raccogliere risultati di modelli rilevanti per la valutazione. Tipicamente, gli utenti forniscono il loro feedback sui risultati del modello, che viene quindi utilizzato per il riformare. Oppure possono essere dati esterni provenienti dal web selezionati per ottimizzare le prestazioni del sistema.
2. Riformazione del Modello: Utilizzando le informazioni raccolte, il sistema di intelligenza artificiale viene riformato per effettuare previsioni migliori, fornire risposte o svolgere attività specifiche raffinando i parametri o i pesi del modello.
3. Integrazione del Feedback e Test: Dopo la riformazione, il modello viene nuovamente testato e valutato. In questa fase, viene incluso anche il feedback degli esperti del settore per evidenziare problemi al di là dei dati.
4. Distribuzione: Il modello viene ridistribuito dopo aver verificato i cambiamenti. In questa fase, il modello dovrebbe mostrare migliori prestazioni su nuovi dati reali, garantendo un’esperienza utente migliorata.
5. Monitoraggio: Il modello viene monitorato continuamente utilizzando metriche per identificare eventuali deterioramenti, come il drift. E il ciclo di feedback continua.

Problemi nei Dati di Produzione e Negli Output dei Modelli di Intelligenza Artificiale

Costruire sistemi di intelligenza artificiale robusti richiede una comprensione approfondita dei potenziali problemi nei dati di produzione (dati reali) e nei risultati dei modelli. Vediamo alcuni problemi che ostacolano l’accuratezza e l’affidabilità dei sistemi di intelligenza artificiale:

1. Drift dei Dati: Si verifica quando il modello inizia a ricevere dati reali provenienti da una distribuzione diversa rispetto alla distribuzione dei dati di addestramento del modello.
2. Drift del Modello: Le capacità predittive ed efficienti del modello diminuiscono nel tempo a causa dei cambiamenti nei contesti del mondo reale. Questo è noto come drift del modello.
3. Output del Modello di Intelligenza Artificiale rispetto alle Decisioni del Mondo Reale: I modelli di intelligenza artificiale producono output inaccurati che non si allineano alle decisioni degli stakeholder del mondo reale.
4. Prevenzione e Imparzialità: I modelli di intelligenza artificiale possono sviluppare problemi di prevenzione e imparzialità. Ad esempio, in un talk TED di Janelle Shane, viene descritta la decisione di Amazon di smettere di lavorare su un algoritmo di ordinamento dei curriculum vitae a causa della discriminazione di genere.

Una volta che i modelli di intelligenza artificiale iniziano ad addestrarsi su contenuti generati da intelligenza artificiale, questi problemi possono aumentare ulteriormente. Come? Discutiamolo in modo più dettagliato.

Cicli di feedback dell’IA nell’era dei contenuti generati dall’IA

In seguito all’adozione rapida dell’IA generativa, i ricercatori hanno studiato un fenomeno noto come Model Collapse. Definiscono il modello collapse come:

“Processo degenerativo che colpisce generazioni di modelli generativi appresi, in cui i dati generati finiscono per inquinare l’insieme di addestramento della successiva generazione di modelli; essendo addestrati su dati inquinati, poi fraintendono la realtà.”

Il modello collapse consiste di due casi speciali,

• Collapse del modello iniziale avviene quando “il modello inizia a perdere informazioni sulla coda della distribuzione”, ovvero le estremità estreme della distribuzione dei dati di addestramento.
• Collapse del modello tardivo avviene quando “il modello intreccia diverse modalità delle distribuzioni originali e converge verso una distribuzione che ha poco in comune con quella originale, spesso con varianza molto piccola.”

Cause del collapse del modello

Perché i praticanti di IA possano affrontare questo problema, è essenziale comprendere le cause del collapse del modello, raggruppate in due categorie principali:

1. Errore di approssimazione statistica: Questo è l’errore principale causato dal numero finito di campioni e scompare man mano che il numero di campioni si avvicina all’infinito.
2. Errore di approssimazione funzionale: Questo errore si verifica quando i modelli, come le reti neurali, non riescono a catturare la vera funzione sottostante che deve essere appresa dai dati.

Un campione di risultati del modello per più generazioni di modelli influenzati dal collapse del modello. Fonte

Come il ciclo di feedback dell’IA è influenzato dai contenuti generati dall’IA

Quando i modelli di intelligenza artificiale si addestrano su contenuti generati dall’IA, ciò ha un effetto distruttivo sui cicli di feedback dell’IA e può causare molti problemi per i modelli di intelligenza artificiale riaddestrati, come ad esempio:

• Collapse del modello: Come spiegato in precedenza, il collapse del modello è una possibilità probabile se il ciclo di feedback dell’IA contiene contenuti generati dall’IA.
• Oblivio catastrofico: Una sfida tipica nell’apprendimento continuo è che il modello dimentica i campioni precedenti quando apprende nuove informazioni. Questo è noto come oblivio catastrofico.
• Inquinamento dei dati: Si riferisce all’alimentazione di dati sintetici manipolativi nel modello di intelligenza artificiale per comprometterne le prestazioni, spingendolo a produrre output inesatti.

Come possono le aziende creare un ciclo di feedback robusto per i loro modelli di intelligenza artificiale?

Le aziende possono beneficiare dell’utilizzo di cicli di feedback nei loro flussi di lavoro di intelligenza artificiale. Segui i tre passaggi principali di seguito per migliorare le prestazioni dei tuoi modelli di intelligenza artificiale.

• Feedback dagli esperti del settore: Gli SME (esperti del settore) sono altamente esperti nel loro campo e comprendono l’uso dei modelli di intelligenza artificiale. Possono offrire approfondimenti per aumentare l’allineamento del modello con le impostazioni del mondo reale, offrendo una maggiore possibilità di risultati corretti. Inoltre, possono governare e gestire meglio i dati generati dall’IA.
• Scegliere metriche di qualità del modello pertinenti: Scegliere la giusta metrica di valutazione per il compito corretto e monitorare il modello in produzione in base a queste metriche può garantire la qualità del modello. I praticanti di IA impiegano anche strumenti MLOps per la valutazione e il monitoraggio automatizzati per avvisare tutte le parti interessate se le prestazioni del modello iniziano a deteriorarsi in produzione.
• Curare rigorosamente i dati: Poiché i modelli di produzione vengono riaddestrati su nuovi dati, possono dimenticare informazioni passate, quindi è cruciale curare dati di alta qualità che si allineano bene con lo scopo del modello. Questi dati possono essere utilizzati per riaddestrare il modello nelle generazioni successive, insieme al feedback degli utenti per garantire la qualità.

Per saperne di più sugli sviluppi dell’IA, vai su Unite.ai.