Incontra TableGPT un framework unificato e affinato che consente ai LLM di comprendere e operare su tabelle utilizzando comandi funzionali esterni

Incontra TableGPT, un framework unificato per LLM che comprende e opera su tabelle con comandi funzionali esterni.

Le tabelle sono frequentemente utilizzate per rappresentare il vasto e complesso mondo dei dati e servono come base per la presa di decisioni basate sui dati in vari contesti, tra cui l’analisi finanziaria, la gestione della catena di approvvigionamento e l’analisi sanitaria. Gli stakeholder possono utilizzarle per analizzare tendenze, pattern e collegamenti, il che li aiuta a prendere decisioni commerciali ben informate e ottimizzare processi e risorse. I data scientist hanno a lungo lottato con l’elaborazione delle tabelle utilizzando formule Excel complesse o programmi personalizzati. Di conseguenza, c’è stata una pressante domanda di una comprensione e interpretazione più efficaci dei dati tabulari. I grandi modelli di linguaggio (LLM) o i trasformatori pre-addestrati generativi (GPT) hanno rivoluzionato il paradigma dell’estrazione di dati di linguaggio nel campo dell’elaborazione del linguaggio naturale.

In linea con questi studi, i ricercatori hanno esaminato modelli estesi per la voce e la visione, tra le altre modalità. La loro capacità di produrre testo che assomiglia al linguaggio umano ha aperto nuove vie per gestire i dati tabulari. Tuttavia, è difficile utilizzare il modello standard ChatGPT nell’area tabulare per due motivi: (i) Comprensione globale delle tabelle: È noto che i GPT hanno una limitazione della lunghezza dei token, rendendo difficile analizzare tabelle enormi e comprendere le informazioni che contengono. (ii) I loro procedimenti di addestramento sono progettati per i linguaggi naturali, quindi sono meno generalizzabili quando si lavora con dati tabulari. Sono stati creati diversi lavori per includere il linguaggio naturale nell’analisi dei dati tabulari.

Il linguaggio naturale in SQL (NL2SQL) è un’area di ricerca consolidata che traduce il linguaggio naturale in istruzioni SQL che controllano i database relazionali. Per utilizzare una vasta gamma di funzioni software per fogli di calcolo, SheetCopilot ha recentemente studiato linguaggi per controllare VBA (Visual Basic for Applications, un linguaggio di script incorporato per Microsoft Excel). Hanno scoperto, tuttavia, che nessuna delle alternative funziona in modo soddisfacente. Credono che questi tipi di codice informatico intrinsecamente non strutturati aggiungano complessità, rendendo quasi impossibile la post-elaborazione automatica. I ricercatori dell’Università di Zhejiang hanno creato TableGPT in questo studio, spingendo i limiti di ciò che è possibile quando si utilizzano approcci LLM per analizzare i dati. Questo è un progresso significativo nella loro ricerca per rendere i dati più accessibili e comprensibili. Il loro sistema TableGPT combina tabelle, istruzioni vocali e linguaggio semplice in un modello GPT unificato, migliorando l’usabilità e l’intuitività dell’interpretazione dei dati.

• Soluzioni efficienti per il k-Nearest Neighbors (k-NN) con NumPy
• Approfondimento su PFI per l’interpretabilità dei modelli
• ReLoRa Pre-allena un grande modello di linguaggio sulla tua GPU

Combinano molti elementi chiave in TableGPT ripensando a come le tabelle, il linguaggio parlato e le istruzioni interagiscono:

• Rappresentazione globale delle tabelle: Fanno il primo tentativo di creare un paradigma di apprendimento per rappresentazioni globali delle tabelle che codifichi l’intera tabella in un singolo vettore. Dotano l’encoder della tabella di catturare efficacemente le informazioni globali della tabella di input addestrando contemporaneamente il LLM e l’encoder su enormi quantità di testo e dati tabulari. Pertanto, viene fornita una comprensione più completa e migliorata delle tabelle, poiché il LLM può vedere e comprendere meglio i dati delle tabelle.

• Catena di comando: Utilizzano questa nozione per evidenziare l’importanza di un approccio organizzato e gerarchico all’esecuzione delle attività. TableGPT segue la stessa sequenza di comandi, suddividendo i compiti difficili in compiti più semplici e svolgendoli passo dopo passo, proprio come una organizzazione ben coordinata in cui ogni direzione viene cascata da un livello superiore al suo equivalente inferiore. Inoltre, incoraggia la capacità di rifiutare istruzioni poco chiare o inappropriate, proprio come farebbe un vero data scientist, anziché seguire ciecamente eventuali istruzioni potenzialmente errate, migliorando così la comunicazione tra persone e sistemi LLM nel contesto della data science. Il loro set di comandi suggerito è più semplice da usare e riduce l’ambiguità che spesso si verifica con l’utilizzo di tecniche convenzionali per gestire i dati tabulari.

• Fine-tuning consapevole del dominio: Per migliorare la comprensione del modello dei dati tabulari di un dominio specifico, il fine-tuning consapevole del dominio prevede di adattare l’addestramento in modo che il modello produca testo contenente elementi stilistici e logici simili a quelli presenti nel dominio specifico. Ciò favorisce la capacità di adattarsi a diversi domini di tabelle e relativi materiali testuali. È stata anche creata una pipeline di elaborazione dei dati per rendere questa strategia pratica e scalabile. Il codice non strutturato generato da NL2SQL presenta grandi difficoltà per i controlli preventivi e le riparazioni degli errori in ambienti di produzione reali. Di conseguenza, sostengono l’uso di sequenze di comandi strutturati per rendere più facile la post-elaborazione.

Con self-instruct, Data-Copilot adotta anche questo approccio basato su comandi. Tuttavia, la sua dipendenza dai LLM nativi, un’API utilizzata per comprendere direttamente l’elaborazione e la logica analitica dei dati tabulari, ha svantaggi. Credono che una soluzione di successo debba essere progettata specificamente per i dati tabulari pur mantenendo un’ampia applicabilità a attività downstream più ampie a causa dell’imprevedibilità intrinseca dei dati e della specificità del compito dei dati tabulari. Questa convinzione sottolinea quanto sia cruciale implementare un LLM pre-addestrato appositamente per dati tabulari. In conclusione, questo studio propone un innovativo framework TableGPT, una soluzione completa, integrata e guidata dal linguaggio naturale che consente un’efficace elaborazione, analisi e visualizzazione dei dati tabulari.

Elencano alcuni significativi vantaggi di TableGPT:

• Esplorazione dei dati basata sul linguaggio: Utilizzando un linguaggio semplice, TableGPT analizza l’intento dell’utente, scomponendo le azioni richieste e eseguendo comandi esterni sulla tabella. All’utente vengono quindi forniti i risultati elaborati in forma tabellare e con spiegazioni scritte. L’Analisi Esplorativa dei Dati (EDA) assume una forma intuitiva grazie a questa tecnica innovativa, che facilita l’interazione degli utenti con i dati tabellari.

• Framework unificato cross-modale: Sviluppano creativamente un codificatore di tabelle globale per comprendere l’intera tabella. Grazie alla capacità di TableGPT di comprendere completamente le richieste degli utenti, le meta-conoscenze e l’intera tabella dei dati, i comandi di esecuzione della manipolazione delle tabelle sono significativamente più affidabili.

• Generalizzazione e privacy: Il loro TableGPT è in grado di gestire meglio l’eterogeneità dei dati nelle tabelle e di generalizzarsi a molti domini grazie al fine-tuning consapevole del dominio. Inoltre, il loro sistema consente l’implementazione privata e fornisce solide protezioni per la privacy dei dati. Oggi, in cui la privacy e la protezione dei dati sono essenziali, questa caratteristica è cruciale.