Incontra LLM-AUGMENTER l’architettura di Microsoft Research per potenziare LLM con memoria, conoscenza e feedback esterno.

Incontra LLM-AUGMENTER, l'architettura di Microsoft Research per potenziare LLM.

Il nuovo framework può fungere da riferimento per soluzioni LLM pronte per la produzione.

Creato utilizzando Midjourney

Recentemente ho avviato una newsletter educativa incentrata sull’intelligenza artificiale, che conta già oltre 160.000 abbonati. TheSequence è una newsletter orientata all’IA senza fronzoli (cioè senza hype, senza notizie, ecc.) che richiede 5 minuti per essere letta. L’obiettivo è tenerti aggiornato su progetti di apprendimento automatico, articoli di ricerca e concetti. Prova a iscriverti qui di seguito:

TheSequence | Jesus Rodriguez | Substack

La migliore fonte per rimanere aggiornato sugli sviluppi nell’apprendimento automatico, intelligenza artificiale e dati…

thesequence.substack.com

Le impressionanti capacità dei Large Language Models (LLM), come ChatGPT, sono state ampiamente riconosciute. Questi modelli eccellono nella generazione di testi in linguaggio naturale che sono fluenti, coerenti e informativi. Le loro prestazioni eccezionali possono essere attribuite alla ricchezza di conoscenze del mondo codificate e alla loro capacità di generalizzare da esse. Tuttavia, la codifica delle conoscenze nei LLM è soggetta a perdite e il processo di generalizzazione può portare a una “distorsione della memoria”. Di conseguenza, questi modelli spesso presentano allucinazioni, che possono essere problematiche quando vengono utilizzati per compiti critici. Inoltre, nonostante la crescita esponenziale delle dimensioni dei modelli, i LLM non sono in grado di codificare tutte le informazioni necessarie per molte applicazioni. Ad esempio, la natura dinamica delle impostazioni del mondo reale fa sì che i LLM diventino rapidamente obsoleti per compiti sensibili al tempo come il question answering su notizie. Inoltre, numerosi dataset proprietari non sono accessibili per l’addestramento dei LLM a causa di preoccupazioni legate alla privacy. Recentemente, Microsoft Research ha pubblicato un articolo in cui introduce LLM-AUGMENTER, un framework progettato per migliorare i LLM con conoscenze esterne e feedback automatizzati.

Funzionalmente, LLM-AUGMENTER combina l’aumento delle conoscenze e la memoria in un’architettura coerente. La figura seguente illustra LLM-AUGMENTER nel contesto di uno scenario calcistico. Quando viene presentata una query dell’utente, ad esempio una domanda su un trasferimento di un giocatore che coinvolge il Los Angeles Galaxy del 2013, LLM-AUGMENTER recupera prove da…