Sfruttare il potere dei grafi di conoscenza arricchire un LLM con dati strutturati
Utilizzare grafi di conoscenza per arricchire un LLM con dati strutturati
Una guida passo-passo alla creazione di un grafo di conoscenza ed esplorazione del suo potenziale per migliorare un LLM
Per il codice di accompagnamento, vedere il notebook qui.
Negli ultimi anni, i grandi modelli di linguaggio (LLM) sono diventati ubiqui. Forse il LLM più famoso è ChatGPT, rilasciato da OpenAI nel novembre 2022. ChatGPT è in grado di generare idee, dare raccomandazioni personalizzate, comprendere argomenti complicati, agire come assistente di scrittura o aiutarti a costruire un modello per prevedere gli Academy Awards. Meta ha annunciato il proprio LLM chiamato LLaMA, Google ha LaMDA e c’è persino un’alternativa open source, BLOOM.
I LLM si sono eccellenti in compiti di elaborazione del linguaggio naturale (NLP) come quelli elencati in precedenza perché i LLM si sono storicamente concentrati sui dati non strutturati, ovvero dati che non hanno una struttura predefinita e sono solitamente ricchi di testo. Ho chiesto a ChatGPT: “perché i LLM si sono storicamente concentrati sui dati non strutturati?” La risposta è stata:
- Valutazione dei modelli di incremento
- Intelligenza Artificiale e Libero Arbitrio
- Costruire un piccolo modello di linguaggio (SLM) con l’algoritmo Jaro-Winkler per migliorare e potenziare gli errori di ortografia
“I LLM si sono storicamente concentrati sui dati non strutturati a causa della loro abbondanza, disponibilità e delle sfide che comportano. I dati non strutturati forniscono una vasta fonte per l’addestramento dei modelli di linguaggio, consentendo loro di imparare modelli, contesto e semantica. I LLM eccellono nel gestire le complessità e le sfumature dei dati non strutturati, catturando le sottigliezze del linguaggio e sfruttando il ricco contesto, le opinioni e le espressioni creative che contiene. Sebbene siano in corso sforzi per colmare il divario tra i LLM e i dati strutturati, l’accento storico sui dati non strutturati deriva dalle loro caratteristiche uniche e dalle preziose informazioni che offrono, consentendo ai LLM di fornire risposte più simili a quelle umane.”
I dati strutturati sono solitamente quantitativi e ben organizzati, di solito in righe e colonne, e, come nota ChatGPT, c’è ancora un divario tra i LLM e i dati strutturati.
I grafi di conoscenza (KG), d’altra parte, sono eccellenti nel interrogare dati strutturati. Un grafo di conoscenza è,
“un grafo diretto etichettato in cui sono associati significati specifici del dominio con nodi e archi. Un nodo potrebbe rappresentare qualsiasi entità del mondo reale, ad esempio persone, aziende, computer, ecc. Un’etichetta di arco cattura la relazione…
