Come i Modelli di Lingua di Grandi Dimensioni (LLM) Alimenteranno le App del Futuro

'Il futuro delle app sarà alimentato dai Modelli di Lingua di Grandi Dimensioni (LLM).'

La generazione di intelligenza artificiale (AI) e in particolare la sua variante legata al linguaggio – ChatGPT – è ovunque. La tecnologia Large Language Model (LLM) avrà un ruolo significativo nello sviluppo delle future applicazioni. I LLM sono molto bravi nel comprendere il linguaggio grazie all’ampio pre-addestramento che è stato effettuato su modelli di base utilizzando trilioni di righe di testo di pubblico dominio, incluso il codice. Metodi come il fine-tuning supervisionato e l’apprendimento rinforzato con il feedback umano (RLHF) rendono questi LLM ancora più efficienti nel rispondere a domande specifiche e interagire con gli utenti. Man mano che entriamo nella prossima fase delle app di intelligenza artificiale potenziate da LLM, i seguenti componenti chiave saranno cruciali per queste applicazioni di nuova generazione. La figura sottostante mostra questa progressione e, man mano che si sale nella catena, si sviluppa sempre più intelligenza e autonomia nelle proprie applicazioni. Analizziamo questi diversi livelli.

Chiamate LLM:

Queste sono chiamate dirette a modelli di completamento o chat da parte di un fornitore di LLM come Azure OpenAI, Google PaLM o Amazon Bedrock. Queste chiamate hanno un prompt molto semplice e utilizzano principalmente la memoria interna del LLM per produrre l’output.

Esempio: chiedere a un modello di base come “text-davinci” di “raccontare una barzelletta”. Si fornisce un contesto molto limitato e il modello si affida alla sua memoria pre-addestrata interna per trovare una risposta (evidenziato in verde nella figura sottostante – utilizzando Azure OpenAI).

Prompts:

Il livello successivo di intelligenza consiste nel fornire sempre più contesto nei prompts. Esistono tecniche di ingegneria dei prompt che possono essere applicate ai LLM per ottenere risposte personalizzate. Ad esempio, quando si genera una email per un utente, il contesto relativo all’utente, agli acquisti passati e ai modelli di comportamento può servire come prompt per personalizzare meglio la email. Gli utenti familiarizzati con ChatGPT conosceranno diversi metodi di prompting, come fornire esempi che vengono utilizzati dal LLM per generare la risposta. I prompt arricchiscono la memoria interna del LLM con ulteriore contesto. Di seguito è riportato un esempio.

Embeddings:

Gli embeddings portano i prompt al livello successivo cercando un archivio di conoscenze per ottenere contesto e aggiungendolo al prompt. Il primo passo consiste nel creare un ampio archivio di documenti con testo non strutturato, rendendolo ricercabile indicizzando il testo e popolando un database vettoriale. A tal fine viene utilizzato un modello di embedding come ‘ada’ di OpenAI, che prende un blocco di testo e lo converte in un vettore n-dimensionale. Questi embeddings catturano il contesto del testo, quindi frasi simili avranno embeddings che sono vicini tra loro nello spazio vettoriale. Quando l’utente inserisce una query, quella query viene anch’essa convertita in un embedding e tale vettore viene confrontato con i vettori nel database. In questo modo, otteniamo i primi 5 o 10 frammenti di testo corrispondenti alla query, che costituiscono il contesto. La query e il contesto vengono passati al LLM per rispondere alla domanda in modo simile a un essere umano.

Chains:

Oggi Chains è la tecnologia più avanzata e matura disponibile che viene utilizzata ampiamente per creare applicazioni LLM. Le Chains sono deterministiche, in quanto una sequenza di chiamate LLM vengono unite insieme, con l’output di una chiamata che fluisce in uno o più LLM. Ad esempio, potremmo avere una chiamata LLM che interroga un database SQL per ottenere l’elenco delle email dei clienti e inviare quell’elenco a un altro LLM che genererà email personalizzate per i clienti. Queste catene di LLM possono essere integrate nei flussi di applicazioni esistenti per generare risultati più preziosi. Utilizzando le catene, è possibile arricchire le chiamate LLM con input esterni come chiamate API e integrazione con grafi di conoscenza per fornire contesto. Inoltre, oggi sono disponibili diversi fornitori di LLM come OpenAI, AWS Bedrock, Google PaLM, MosaicML, ecc., che consentono di combinare chiamate LLM in catene. Per gli elementi di catena con intelligenza limitata, potrebbe essere utilizzato un LLM di livello inferiore come ‘gpt3.5-turbo’, mentre per compiti più avanzati potrebbe essere utilizzato ‘gpt4’. Le catene forniscono un’astrazione per dati, applicazioni e chiamate LLM.

Agenti:

Gli agenti sono un argomento di molti dibattiti online, in particolare per quanto riguarda l’intelligenza artificiale generale (AGI). Gli agenti utilizzano un LLM avanzato come ‘gpt4’ o ‘PaLM2′ per pianificare le attività anziché avere catene predefinite. Quindi, quando ci sono richieste degli utenti, in base alla query l’agente decide quali insiemi di attività chiamare e costruisce dinamicamente una catena. Ad esempio, quando si configura un agente con un comando come “notificare i clienti quando il tasso di interesse del prestito cambia a causa di un aggiornamento delle normative governative”. Il framework dell’agente effettua una chiamata LLM per decidere i passi da intraprendere o le catene da costruire. In questo caso, coinvolgerà l’invocazione di un’applicazione che esamina i siti web normativi ed estrae l’ultimo tasso di interesse, quindi una chiamata LLM cerca nel database ed estrae le email dei clienti interessati e infine viene generata un’email per notificare a tutti.

Considerazioni finali

LLM è una tecnologia in continua evoluzione e ogni settimana vengono lanciati modelli e applicazioni migliori. LLM per gli Agenti è la scala dell’intelligenza e man mano che saliamo, costruiamo applicazioni autonome complesse. Modelli migliori significheranno agenti più efficaci e le applicazioni di prossima generazione saranno alimentate da questi. Il tempo dirà quanto avanzate saranno le applicazioni di prossima generazione e quali schemi le guideranno.