Questo articolo su IA propone AugGPT un approccio di arricchimento dei dati testuali basato su ChatGPT.

Questo articolo presenta AugGPT, una metodologia innovativa per l'arricchimento dei dati testuali basata su ChatGPT.

NLP, o Natural Language Processing, è un campo dell’AI che si concentra sull’interazione tra l’uomo e il computer utilizzando il linguaggio. L’analisi del testo, la traduzione, i chatbot e l’analisi del sentimento sono solo alcune delle sue numerose applicazioni. L’obiettivo dell’NLP è far sì che i computer comprendano, interpretino e generino il linguaggio umano.

Le recenti ricerche sull’NLP si sono concentrate sul miglioramento dei metodi di apprendimento a pochi esempi (FSL) in risposta alle sfide di insufficienza dei dati. Mentre questi metodi migliorano le capacità del modello attraverso progettazioni architettoniche e modelli di linguaggio preallenati, persistono limitazioni legate alla qualità e alla quantità dei dati.

Inoltre, sono emerse tecniche di aumento dei dati di testo come strumenti preziosi per affrontare le limitazioni delle dimensioni del campione. Queste tecniche modello-agnostiche, tra cui la sostituzione dei sinonimi e procedure più avanzate come la traduzione all’indietro, integrano i metodi FSL nell’NLP, offrendo soluzioni a queste sfide.

• Incontra SecureLoop un potente strumento di ricerca basato sull’intelligenza artificiale per identificare un design ottimale per un acceleratore di deep learning in grado di potenziare le prestazioni delle complesse attività di intelligenza artificiale e
• Questo articolo sull’intelligenza artificiale presenta un nuovo processo di distillazione personalizzato migliorare i LLM open-source con l’apprendimento adattivo dai corrispondenti closed-source
• Koe AI svela LLVC un modello rivoluzionario di conversione vocale in tempo reale con efficienza e velocità senza precedenti

Nello stesso contesto, un team di ricerca ha pubblicato un nuovo articolo che introduce un nuovo metodo di aumento dei dati chiamato “AugGPT”. Questo metodo utilizza ChatGPT, un grande modello di linguaggio, per generare campioni ausiliari per compiti di classificazione del testo a pochi esempi.

Il metodo affronta la sfida dell’apprendimento a pochi esempi, in cui un modello addestrato su un dominio di origine con dati limitati deve generalizzare a un dominio di destinazione con solo alcuni esempi. Il metodo AugGPT che viene proposto utilizza ChatGPT per generare più campioni e migliorare i dati di addestramento per la classificazione del testo.

In concreto, il modello viene addestrato con un dataset di base (Db) contenente un insieme relativamente grande di campioni etichettati e un nuovo dataset (Dn) con solo pochi dati etichettati. L’obiettivo è ottenere una buona generalizzabilità sul nuovo dataset. Il framework di AugGPT consiste nel fine-tuning di BERT sul dataset di base, nella generazione di dati aumentati (Daugn) utilizzando ChatGPT e nel fine-tuning di BERT con i dati aumentati. ChatGPT viene utilizzato per l’aumento dei dati, riformulando le frasi di input in frasi aggiuntive per aumentare i campioni a pochi esempi. Il modello di classificazione del testo a pochi esempi si basa su BERT, utilizzando funzioni di perdita di entropia incrociata e contrastiva per classificare in modo efficace i campioni. AugGPT viene confrontato con altri metodi di aumento dei dati, tra cui la sostituzione dei caratteri e delle parole, la simulazione della tastiera, la sostituzione dei sinonimi e altro ancora. I prompt del metodo sono progettati per dialoghi a singolo e multi-turno, consentendo un efficace aumento dei dati per vari dataset e scenari.

Per riassumere, per eseguire l’approccio AugGPT proposto per migliorare la classificazione del testo a pochi esempi, vengono eseguiti i seguenti passaggi:

1- Configurazione del dataset:

• Crea un dataset di base (Db) con un grande insieme di campioni etichettati.
• Prepara un nuovo dataset (Dn) con solo alcuni campioni etichettati.

2- Fine-tuning di BERT:

• Inizia con il fine-tuning del modello BERT sul dataset di base (Db) per sfruttare le sue capacità di comprensione del linguaggio preallenato.

3- Aumento dei dati con ChatGPT:

• Utilizza ChatGPT, un grande modello di linguaggio, per generare dati aumentati (Daugn) per il compito di classificazione del testo a pochi esempi.
• Applica ChatGPT per riformulare le frasi di input, creando frasi aggiuntive per aumentare i campioni a pochi esempi. Questo processo aumenta la diversità dei dati.

4- Fine-tuning di BERT con dati aumentati:

• Esegui il fine-tuning del modello BERT con i dati aumentati (Daugn) per adattarlo al compito di classificazione a pochi esempi.

5- Configurazione del modello di classificazione:

• Progetta un modello di classificazione del testo a pochi esempi basato su BERT, utilizzando i dati aumentati per l’addestramento.

Gli autori hanno condotto esperimenti utilizzando BERT come modello di base per valutare la tecnica proposta. AugGPT supera gli altri metodi di aumento dei dati in termini di accuratezza di classificazione per vari dataset. AugGPT genera anche dati aumentati di alta qualità e migliora le prestazioni del modello. Nel confronto di ChatGPT per i compiti successivi, eccelle nei compiti più semplici ma richiede un fine-tuning del modello per compiti più complessi come PubMed, dimostrando il valore dell’approccio proposto nel migliorare le prestazioni.

In conclusione, l’articolo ha introdotto AugGPT, un nuovo metodo di aumento dei dati per la classificazione a pochi esempi che opera a livello semantico, con miglioramenti sulla coerenza e robustezza dei dati rispetto ad altri metodi. Sottolinea il potenziale dell’utilizzo di modelli di linguaggio di grandi dimensioni, come ChatGPT, in vari compiti di NLP e suggerisce il fine-tuning di questi modelli per applicazioni specifiche di dominio. Il successo di AugGPT nel migliorare i compiti di classificazione apre possibilità per la sua applicazione nella sintesi del testo e nei compiti di visione artificiale, in particolare nella generazione di immagini da testo.