Una nuova ricerca sull’IA presenta AttrPrompt un generatore di dati di addestramento LLM per un nuovo paradigma nell’apprendimento Zero-Shot

AttrPrompt, un nuovo generatore di dati di addestramento LLM, è presentato in una recente ricerca sull'IA. Questo strumento introduce un nuovo paradigma nell'apprendimento Zero-Shot.

Le prestazioni dei grandi modelli di linguaggio (LLM) sono state impressionanti in molte diverse applicazioni di elaborazione del linguaggio naturale (NLP). In recenti studi, i LLM sono stati proposti come generatori di dati di addestramento specifici per compiti al fine di ridurre la necessità di dati specifici per compiti e annotazioni, specialmente per la classificazione del testo. Sebbene questi sforzi abbiano dimostrato l’utilità dei LLM come produttori di dati, si sono concentrati principalmente sul miglioramento della fase di addestramento, quando i dati generati vengono utilizzati per addestrare modelli specifici per compiti, lasciando intatta la fase di creazione dei dati di origine. Per interrogare i LLM, il metodo prevalente utilizza un prompt condizionale di classe singola, che può ridurre la varietà dei dati forniti e perpetuare i pregiudizi sistemici intrinseci dei LLM.

Uno studio recente condotto da Georgia Tech, University of Washington, UIUC e Google Research analizza quattro compiti di classificazione di soggetti difficili con una grande cardinalità provenienti da diversi domini. Ancla il LLM a ChatGPT per la sua capacità di scrivere un linguaggio di alta qualità simile a quello umano. Il team utilizza principalmente gli attributi dei dati per valutare il livello di pregiudizio e diversità all’interno del set di addestramento creato. In particolare, gli attributi dei dati consistono in diverse dimensioni degli attributi e vari valori degli attributi, ciascuno dei quali rappresenta una possibile realizzazione degli attributi stessi.

I ricercatori hanno utilizzato un classificatore di attributi addestrato per analizzare il pregiudizio degli attributi nel dataset generato da SimPrompt. Hanno indagato su come diversi attributi possono influire sui risultati finali di un modello. Per generare dati attribuiti, utilizzano ChatGPT e aggiungono vincoli alle domande con determinati valori per le caratteristiche necessarie. I ricercatori hanno scoperto che i modelli addestrati su dataset generati con caratteristiche casuali ottengono risultati significativamente migliori rispetto a quelli addestrati su dataset con attributi fissi, evidenziando l’importanza della variazione degli attributi nel dataset generato.

• 4 Idee Statistiche Importanti Che Dovresti Comprendere in un Mondo Guidato dai Dati
• Dall’analisi all’applicazione concreta il caso del Valore del Cliente nel Tempo
• Potenziare le informazioni in tempo reale con il monitoraggio del sito web utilizzando Python

Il team suggerisce di generare dati utilizzando prompt attribuiti in modo diversificato per ridurre i pregiudizi degli attributi e aumentare la diversità degli attributi dei dati generati. Utilizzando il LLM, viene utilizzato un processo interattivo e semi-automatico per determinare le dimensioni e i valori degli attributi appropriati per un determinato compito di classificazione. Il prompt condizionale di classe standard per le interrogazioni dei dati LLM viene quindi sostituito da richieste più complesse generate da proprietà combinate in modo casuale. Hanno coniato il termine “AttrPrompt” per descrivere questi vari trigger attribuibili.

I ricercatori valutano empiricamente i dataset creati nei quattro compiti di classificazione confrontando i risultati dei modelli addestrati in due scenari: 1) solo sul dataset generato e 2) su un dataset combinato, che include il set di addestramento genuino e il set generato. Il dataset creato utilizzando AttrPrompt ottiene risultati molto migliori rispetto al dataset creato con SimPrompt in entrambi i casi. I loro risultati mostrano inoltre che AttrPrompt è superiore a SimPrompt per quanto riguarda l’efficienza dati/budget e la flessibilità nei confronti di una vasta gamma di dimensioni del modello e strategie di generazione dei dati di addestramento LLM.

AttrPrompt è notevole perché fornisce le stesse prestazioni di SimPrompt richiedendo solo il 5% del costo di interrogazione di ChatGPT che SimPrompt richiede. Infine, mostrano per la prima volta che AttrPrompt supera SimPrompt in tutti i criteri di valutazione estendendo il paradigma LLM come generatore di dati di addestramento ai problemi di classificazione multi-label più difficili.