Incontra ChatDB un framework che aumenta gli LLM con memoria simbolica sotto forma di database.

Meet ChatDB, a framework that enhances LLMs with symbolic memory in the form of a database.

I modelli di lingua di grandi dimensioni, come GPT-4 e PaLM 2, sono diventati una parte cruciale dei sistemi di intelligenza artificiale contemporanei, rivoluzionando la loro comprensione del processing del linguaggio naturale e cambiando vari settori. Nonostante i grandi progressi nella comprensione e nella produzione di risposte contestualmente appropriate, i LLM hanno ancora alcune limitazioni. Uno dei problemi chiave è il fatto che le interazioni multi-turn con i modelli di linguaggio fanno sì che si ottengano molti token che superano facilmente il limite di input di token dei LLM, che ad esempio nel caso di GPT-4 è limitato a 32.000 token. I LLM devono mantenere informazioni contestuali durante l’incontro e produrre risposte in base alle informazioni raccolte.

Tuttavia, la semplice concatenazione di tutte le informazioni contestuali e il loro inserimento nei LLM può facilmente superare le capacità di elaborazione dei LLM e accumulare errori, causando la perdita della traccia della conversazione e la produzione di risposte meno accurate. Alcuni meccanismi di memoria neurale sono stati esplorati per superare il problema di input a token limitato dei LLM. I componenti di memoria servono come sistema di archiviazione e recupero per le informazioni pertinenti dalle interazioni precedenti. Tuttavia, l’aggiunta di memoria neurale convenzionale ai LLM porta spesso a difficoltà nella memorizzazione, nel recupero e nella manipolazione delle informazioni storiche nella memoria, soprattutto per i compiti che richiedono un ragionamento complesso a più fasi.

Le due ragioni principali sono che non mantengono i dati storici in modo strutturato e non li manipolano simbolicamente, poiché tutti si basano sui calcoli di somiglianza vettoriale, che potrebbero essere errati e causare un accumulo di errori. I ricercatori dell’Università di Tsinghua, dell’Accademia di intelligenza artificiale di Pechino e dell’Università di Zhejiang propongono l’utilizzo di database come innovativa memoria simbolica per i LLM per risolvere i problemi sopra citati. ChatDB è il nome dell’intero framework. La figura 1 qui sotto rappresenta le due parti che compongono ChatDB: un controller LLM e la sua memoria. Le operazioni di lettura e scrittura nella memoria sono controllate dal controller LLM, che può essere qualsiasi LLM ampiamente utilizzato.

La memoria dei LLM, che può essere simbolica, non simbolica o ibrida, si occupa di tenere traccia del passato e di diffondere i dati come necessario per aiutare il LLM a rispondere all’input umano. ChatDB enfatizza l’utilizzo dei database come memoria simbolica, consentendo l’archiviazione organizzata dei dati storici attraverso l’esecuzione di linguaggio figurato, vale a dire comandi SQL. Sono i LLM che creano queste istruzioni SQL. Un database può essere utilizzato come memoria simbolica in situazioni che richiedono la registrazione, l’aggiornamento, la query, la cancellazione e l’analisi di dati storici esatti. Ad esempio, un responsabile di un negozio deve tenere traccia delle cifre di vendita giornaliere. Pertanto, utilizzare matrici o testo normale come memoria è inappropriato.

Tuttavia, utilizzare un database come memoria simbolica esterna è abbastanza appropriato. Il database utilizza i comandi SQL per eseguire azioni precise come inserimento, cancellazione, aggiornamento e selezione di dati. Di conseguenza, utilizzare i database come memoria simbolica esterna garantisce correttezza ed efficienza nella gestione e nella manipolazione dei dati storici, migliorando notevolmente le prestazioni dei LLM in situazioni che richiedono una cattura e un’elaborazione dei dati molto accurata e lunga. Nel framework ChatDB, viene suggerita la strategia della catena di memoria per utilizzare in modo più abile la memoria simbolica esterna, aumentando ulteriormente la capacità di ragionamento dei LLM.

Figura 1 mostra il processo ChatDB nel complesso. Le operazioni di lettura e scrittura nella memoria sono gestite dal controller LLM. Per rispondere all’input dell’utente, la memoria conserva i dati passati e presenta dati storici pertinenti. In ChatDB, sottolineiamo l’aggiunta di database ai LLM per utilizzarli come memoria simbolica.

L’input dell’utente viene convertito in una sequenza di fasi di operazioni di memoria intermedia attraverso la tecnica della catena di memoria, che produce le uscite desiderate. Un problema complesso viene diviso in diverse fasi di operazioni di memoria utilizzando la tecnica della catena di memoria, riducendo considerevolmente la difficoltà nella risoluzione del problema. Ogni passaggio intermedio in ChatDB comporta una o più istruzioni SQL. Il campo dei LLM beneficia enormemente del loro ChatDB. In primo luogo, suggeriscono di aggiungere i database ai LLM come loro memoria simbolica esterna. Ciò consentirebbe l’archiviazione organizzata dei dati storici e consentirebbe manipolazioni di dati simbolici e complessi utilizzando le istruzioni SQL.

In secondo luogo, possono manipolare efficacemente la memoria trasformando l’input dell’utente in operazioni di memoria intermedie a più passaggi utilizzando la loro tecnica a catena di memoria. Ciò migliora l’efficienza di ChatDB e consente di gestire transazioni di database complesse e multitabellari con maggiore precisione e stabilità. Infine, la loro ricerca dimostra che l’aggiunta di memoria simbolica a LLM migliora le capacità di ragionamento a più passaggi e riduce l’accumulo di errori, consentendo a ChatDB di avere prestazioni migliori su un dataset sintetico rispetto a ChatGPT.