Incontra DISC-FinLLM un modello linguistico finanziario cinese (LLM) basato su una serie di esperti che lo hanno perfezionato.
Incontra DISC-FinLLM un modello finanziario cinese (LLM) basato su un team di esperti che ne hanno perfezionato la lingua.
Il più grande avanzamento nel campo dell’Intelligenza Artificiale è l’introduzione dei Large Language Models (LLM). Questi modelli basati su Natural Language Processing (NLP) gestiscono insiemi di dati vasti e complessi, il che li porta ad affrontare una sfida unica nell’industria finanziaria. I settori della sintesi dei testi finanziari, la previsione dei prezzi delle azioni, la produzione di rapporti finanziari, l’analisi dei sentimenti delle notizie e l’estrazione di eventi finanziari hanno tutti visto progressi nei modelli tradizionali di NLP finanziario.
Con l’aumentare del volume e della complessità dei dati finanziari, i LLM si trovano ad affrontare diverse sfide, tra cui la mancanza di dati etichettati dall’uomo, la mancanza di competenze specifiche per il settore finanziario, la difficoltà di multitasking, i limiti del calcolo numerico e l’incapacità di gestire informazioni in tempo reale. I LLM come GPT-4 sono rinomati per le loro capacità di dialogo, la comprensione dei comandi e la capacità di seguire le istruzioni.
Tuttavia, in settori come il mercato finanziario cinese, i LLM mancano di una comprensione approfondita del settore finanziario, il che rende importante lo sviluppo di LLM finanziari cinesi open source che siano adatti a una vasta gamma di tipi di utenti e contesti situazionali. Per affrontare questo problema, un team di ricercatori ha introdotto DISC-FinLLM, un approccio completo per la creazione di LLM finanziari cinesi.
- OpenAI annuncia il suo ultimo modello GPT-4 Turbo
- Intel Researchers Propongono un Nuovo Approccio di Intelligenza Artificiale per Implementare LLM in Modo più Efficiente sui CPU
- Verso l’IA generativa per l’architettura dei modelli
Lo scopo principale di questo metodo è fornire ai LLM la capacità di generare e comprendere testi finanziari, avere conversazioni a più turni su questioni finanziarie e assistere i sistemi di modellazione finanziaria e di conoscenza attraverso funzionalità di plugin. Il team ha anche sviluppato un dataset di istruzioni supervisionate chiamato DISC-FIN-SFT. Le principali categorie di questo dataset sono le seguenti.
- Istruzioni per la consulenza finanziaria: Queste istruzioni sono state sviluppate dai forum finanziari online e dai dataset di domande e risposte finanziarie. Mirano a rispondere alle domande e offrire orientamenti sulle questioni finanziarie.
- Istruzioni per le attività finanziarie: Queste istruzioni sono finalizzate ad aiutare con una varietà di compiti finanziari. Sono tratte sia da dataset NLP autocostruiti che disponibili.
- Istruzioni per il calcolo finanziario: Le soluzioni per le questioni finanziarie statistiche, computazionali e di modellazione sono l’argomento principale di queste istruzioni.
- Istruzioni con miglioramento del recupero: Queste istruzioni facilitano il recupero delle informazioni. Sono state costruite a partire da testi finanziari e includono domande create, riferimenti recuperati e risposte generate.
Il team ha condiviso che il dataset di istruzioni DISC-FIN-SFT è la base per la costruzione di DISC-FinLLM, che è stato realizzato utilizzando un Multiple Experts Fine-tuning Framework (MEFF). Sono stati addestrati quattro distinti moduli di adattamento a rango basso (LoRA) utilizzando quattro diversi segmenti di dataset. Dialoghi finanziari a più turni, compiti di NLP finanziari, calcoli finanziari e risposte alle domande di recupero sono solo alcune delle situazioni finanziarie che questi moduli sono in grado di gestire. Ciò consente al sistema di offrire vari servizi a gruppi di utenti pertinenti, come studenti, sviluppatori e professionisti finanziari. In questa versione specifica, la base di DISC-FinLLM è Baichuan-13B, un LLM a dominio generale per la lingua cinese.
I ricercatori hanno effettuato diverse valutazioni per valutare DISC-FinLLM. I risultati sperimentali hanno mostrato che DISC-FinLLM si comporta meglio rispetto al modello di base in tutte le attività. Un’analisi approfondita rivela i vantaggi dell’architettura MEFF, che permette al modello di performare bene in una serie di scenari e compiti finanziari.
