Un framework per servire efficientemente i tuoi grandi modelli di linguaggio
Un framework per i tuoi grandi modelli di linguaggio
Servi i tuoi grandi modelli di linguaggio proprio come faresti utilizzando l’API di OpenAI ma senza costi
Introduzione
C’è stato molto entusiasmo negli ultimi mesi nell’utilizzare i Grandi Modelli di Linguaggio. Questo non è sorprendente a causa della loro capacità di aiutare ad affrontare la maggior parte dei casi d’uso che potremmo considerare insolubili, e grazie alla vivace comunità di ricerca per questo grande lavoro.
Come qualsiasi modello di intelligenza artificiale e machine learning, non importa quanto potenti siano, solo spostarli in produzione può aiutare gli stakeholder a prendere decisioni più informate.
Il deployment di questi grandi modelli di linguaggio è senza dubbio una delle attività più impegnative, non perché i team di deployment siano incompetenti, ma semplicemente a causa della complessità del deployment di questi tipi di modelli.
Non sarebbe bello se potessimo avere un framework che renda il processo di industrializzazione di questi modelli il più semplice possibile?
Ecco dove entra in gioco la libreria vLLM, una libreria open-source sviluppata da UC Berkeley con licenza Apache.
La filosofia alla base di vLLM è quella di rendere accessibile il servizio e l’inferenza dei grandi modelli di linguaggio sia per l’industria che per i piccoli team di ricerca.
Dopo aver completato questo tutorial non sponsorizzato (non promozionale), sarai in grado di:
- Configurare
vLLMsul tuo spazio di lavoro e su Google Colab - Eseguire un’inferenza batch offline di un grande modello di linguaggio sui tuoi prompt
- Creare un server API per servire il tuo modello utilizzando sia Postman che il comando
curl
vLLM – perché dovremmo preoccuparci?
Prima di immergerci in qualsiasi implementazione, diamo un’occhiata generale alle prestazioni di vLLM rispetto ad altri strumenti come HuggingFace Transformers (HF) e…
