Sviluppo di grandi modelli di linguaggio con HuggingFace TGI

Sviluppo modelli linguistici con HuggingFace TGI

Un altro modo per ospitare ed espandere efficacemente i LLM con Amazon SageMaker

Immagine da Unsplash

I Large Language Models (LLM) continuano ad aumentare di popolarità, con un nuovo modello che viene rilasciato quasi ogni settimana. Con l’aumento di questi modelli, aumentano anche le opzioni per come possiamo ospitarli. Nel mio articolo precedente abbiamo esplorato come poter utilizzare DJL Serving all’interno di Amazon SageMaker per ospitare in modo efficiente i LLM. In questo articolo esploreremo un altro server di modelli ottimizzato e una soluzione in HuggingFace Text Generation Inference (TGI).

NOTA: Per coloro che sono nuovi a AWS, assicuratevi di creare un account al seguente link se volete seguire insieme. L’articolo assume anche una comprensione intermedia di SageMaker Deployment, suggerisco di seguire questo articolo per una comprensione più approfondita del Deployment/Inference.

DISCLAIMER: Sono un Machine Learning Architect presso AWS e le mie opinioni sono personali.

Perché HuggingFace Text Generation Inference? Come funziona con Amazon SageMaker?

TGI è un server di modelli Rust, Python, gRPC creato da HuggingFace che può essere utilizzato per ospitare specifici Large Language Models. HuggingFace è da tempo il centro principale per l’NLP e contiene un ampio set di ottimizzazioni quando si tratta di LLM, guardate sotto per alcune e consultate la documentazione per una lista completa.

  • Parallelismo Tensor per un ospitaggio efficiente su più GPU
  • Token Streaming con SSE
  • Quantizzazione con bitsandbytes
  • Logits warper (diversi parametri come temperatura, top-k, top-n, ecc)

Un grande vantaggio di questa soluzione è la semplicità d’uso. TGI al momento supporta le seguenti architetture di modelli ottimizzati che è possibile distribuire direttamente utilizzando i contenitori TGI.

  • BLOOM
  • FLAN-T5
  • Galactica
  • GPT-Neox
  • Llama
  • OPT
  • SantaCoder
  • Starcoder
  • Falcon 7B
  • Falcon 40B