Tutti gli LLM per tutti eseguire LangChain e un modello MistralAI 7B su Google Colab
Tutti gli LLM per eseguire LangChain e un modello MistralAI 7B su Google Colab
Sperimentare con grandi modelli di linguaggio gratuitamente
Tutti sanno che i grandi modelli di linguaggio, per definizione, sono grandi. Fino a non molto tempo fa erano disponibili solo per i proprietari di hardware di fascia alta o almeno per le persone che pagavano per l’accesso cloud o ogni chiamata API. Oggi il tempo sta cambiando. In questo articolo, mostrerò come eseguire gratuitamente una libreria Python di LangChain, un database vettoriale FAISS e un modello di Mistral-7B in Google Colab, e faremo alcuni esperimenti divertenti.
Componenti
Ci sono molti articoli qui su TDS sull’uso di grandi modelli di linguaggio in Python, ma spesso non è così facile riprodurli. Ad esempio, molti esempi di utilizzo della libreria LangChain utilizzano una classe OpenAI, il primo parametro del quale (indovinate?) è OPENAI_API_KEY. Altri esempi di RAG (Retrieval Augmented Generation) e di database vettoriali utilizzano Weaviate; la prima cosa che vediamo dopo aver aperto il loro sito web è “Prezzi”. Qui, userò un insieme di librerie open-source che possono essere utilizzate completamente gratuitamente:
- LangChain. È un framework Python per lo sviluppo di applicazioni basate su modelli di linguaggio. È anche agnostico rispetto al modello e lo stesso codice può essere riutilizzato con modelli diversi.
- FAISS (Facebook AI Similarity Search). È una libreria progettata per la ricerca efficiente di similarità e l’archiviazione di vettori densi, che utilizzerò per la generazione arricchita da recupero.
- Mistral 7B è un grande modello di linguaggio con 7,3 miliardi di parametri (rilasciato con licenza Apache 2.0), che, secondo gli autori, supera il modello Llama2 da 13 miliardi su tutti i benchmark. È anche disponibile su HuggingFace, quindi il suo utilizzo è piuttosto semplice.
- Ultimo ma non meno importante, anche Google Colab è parte importante di questo test. Fornisce accesso gratuito a notebook Python alimentati da CPU, NVIDIA Tesla T4 con 16 GB di RAM o persino NVIDIA A100 con 80 GB di RAM (anche se non ho mai visto quest’ultimo disponibile per un’istanza gratuita).
Ora, entriamo nel vivo della questione.
Installazione
Come primo passo, dobbiamo aprire Google Colab e creare un nuovo notebook. Le librerie necessarie possono essere installate utilizzando pip nella prima cella:
