Quanto sono efficaci le auto-spiegazioni dei grandi modelli di linguaggio come ChatGPT nell’analisi del sentiment? Un’approfondita esplorazione delle prestazioni, del costo e dell’interpretabilità

Quanto sono efficaci i modelli di linguaggio avanzati come ChatGPT nell'analisi del sentiment? Un'approfondita esplorazione delle prestazioni, del costo e dell'interpretabilità

I modelli di linguaggio come GPT-3 sono progettati per essere neutrali e generare testo basato sui modelli che hanno appreso dai dati. Non hanno sentimenti o emozioni intrinseche. Se i dati utilizzati per l’addestramento contengono bias, questi bias possono rispecchiarsi nelle uscite del modello. Tuttavia, le loro uscite possono essere interpretate come positive, negative o neutrali a seconda del contesto e dell’input che ricevono. Il contesto del testo è cruciale per determinare il sentimento. Una frase potrebbe essere negativa se considerata isolatamente, ma positiva se inserita nel contesto più ampio del testo. I grandi modelli di linguaggio considerano il testo circostante, ma comprendere il contesto può essere difficile.

L’analisi del sentimento può essere difficile per il testo con ambiguità, sarcasmo o sentimenti misti. I grandi modelli di linguaggio potrebbero non interpretare correttamente tali sfumature. La classificazione errata o l’uso improprio dell’analisi del sentimento possono avere conseguenze reali. È importante considerare queste implicazioni e utilizzare l’IA in modo responsabile. I ricercatori dell’UC Santa Cruz hanno analizzato il comportamento sentimentale di vari modelli come ChatGPT e GPT-4. Hanno valutato la capacità del LLM di autogenerare attribuzioni delle caratteristiche.

Nell’analisi, hanno studiato due modalità di generazione. Hanno confrontato la generazione della spiegazione prima della previsione e la generazione della previsione seguita dalla spiegazione. In entrambi i metodi, hanno chiesto al modello di sviluppare un elenco completo di spiegazioni delle attribuzioni delle caratteristiche contenente il punteggio di importanza di ogni parola e di restituire le parole più importanti in cima. Le hanno confrontate con metodi di interpretazione come occlusione e spiegazioni locali modello-agnostiche. Queste due tecniche vengono utilizzate nell’apprendimento automatico e nell’apprendimento profondo per interpretare e spiegare le previsioni di modelli complessi.

I modelli devono anche essere valutati in base alle caratteristiche di input. È necessario valutare la risposta del modello alla perturbazione infinitesimale del valore della caratteristica di input con metodi rappresentativi come la salienza del gradiente, il gradiente fluido e il gradiente integrato. I ricercatori hanno seguito un nuovo metodo chiamato salienza dell’occlusione, in cui hanno valutato la risposta del modello a vari input con varie caratteristiche rimosse. Per catturare le interazioni non lineari, hanno rimosso contemporaneamente più caratteristiche, definito l’importanza delle caratteristiche come coefficienti di regressione lineari ed esaminato i risultati.

Secondo le valutazioni di fedeltà, i risultati mostrano che nessuna delle spiegazioni autogenerate ha un vantaggio distintivo sulle altre. Le spiegazioni sono estremamente diverse secondo le valutazioni dell’accordo. Di conseguenza, alcune spiegazioni potrebbero essere molto migliori di quelle attuali e potrebbero essere necessarie nuove tecniche per rivelarle.

Questa catena di pensiero generazione può essere considerata come spiegazione del modello. È spesso utile per l’accuratezza della risposta finale, specialmente nelle attività di ragionamento complesso come la soluzione di problemi matematici. Pertanto, il futuro lavoro del team prevede di valutare LLM come GPT-4, Bard e Claude. Condurranno uno studio comparativo per comprendere come questi modelli comprendono se stessi. Desiderano anche condurre studi sulle spiegazioni controfattuali e sulle spiegazioni basate su concetti.