Presentazione di OpenLLM Libreria Open Source per LLM

Presentazione di OpenLLM Libreria Open Source per LLM

 

A questo punto, tutti stiamo pensando la stessa cosa. Il mondo degli LLM sta davvero prendendo il sopravvento? Alcuni di voi potrebbero aver previsto che l’entusiasmo si sarebbe stabilizzato, ma è ancora in continua crescita. Sempre più risorse vengono investite negli LLM poiché c’è una grande domanda.

Non solo le prestazioni degli LLM sono state di successo, ma anche la loro versatilità nel potersi adattare a vari compiti di NLP come la traduzione e l’analisi del sentiment. Il fine-tuning degli LLM pre-addestrati ha reso molto più facile svolgere compiti specifici, rendendo meno dispendioso in termini di calcolo costruire un modello da zero. Gli LLM sono stati rapidamente implementati in varie applicazioni del mondo reale, incrementando la quantità di ricerca e sviluppo.

Modelli open-source sono stati anche un grande vantaggio per gli LLM, poiché la disponibilità di modelli open-source ha permesso ai ricercatori e alle organizzazioni di migliorare continuamente i modelli esistenti e di integrarli in modo sicuro nella società.

• Costruire un pannello interattivo di ML in Panel
• Come creare miniature di YouTube con Midjourney (che puoi vendere)
• Come ho costruito una pipeline dati a cascata basata su AWS

 

Cos’è OpenLLM?

 

OpenLLM è una piattaforma aperta per l’utilizzo degli LLM in produzione. Utilizzando OpenLLM, è possibile eseguire inferenze su qualsiasi LLM open-source, effettuare il fine-tuning, distribuire e costruire potenti applicazioni di intelligenza artificiale con facilità.

OpenLLM include LLM all’avanguardia, come StableLM, Dolly, ChatGLM, StarCoder e altri, tutti supportati da un supporto integrato. Hai anche la libertà di costruire la tua applicazione di intelligenza artificiale, poiché OpenLLM non è solo un prodotto autonomo, ma supporta anche LangChain, BentoML e Hugging Face.

Tutte queste funzionalità, ed è open-source? Sembra un po’ pazzesco, vero?

E per di più, è facile da installare e usare.

 

Come usare OpenLLM?

 

Per utilizzare LLM, è necessario avere almeno Python 3.8 e pip installati nel sistema. Per evitare conflitti di pacchetti, si consiglia di utilizzare un ambiente virtuale.

1. Una volta che hai tutto pronto, puoi installare facilmente OpenLLM utilizzando il seguente comando:

pip install open-llm

 

1. Per verificare che sia stato installato correttamente, puoi eseguire il seguente comando:

$ openllm -h

Usage: openllm [OPTIONS] COMMAND [ARGS]...

   ██████╗ ██████╗ ███████╗███╗   ██╗██╗     ██╗     ███╗   ███╗
  ██╔═══██╗██╔══██╗██╔════╝████╗  ██║██║     ██║     ████╗ ████║
  ██║   ██║██████╔╝█████╗  ██╔██╗ ██║██║     ██║     ██╔████╔██║
  ██║   ██║██╔═══╝ ██╔══╝  ██║╚██╗██║██║     ██║     ██║╚██╔╝██║
  ╚██████╔╝██║     ███████╗██║ ╚████║███████╗███████╗██║ ╚═╝ ██║
   ╚═════╝ ╚═╝     ╚══════╝╚═╝  ╚═══╝╚══════╝╚══════╝╚═╝     ╚═╝

  Una piattaforma aperta per l'utilizzo di grandi modelli di linguaggio in produzione.
  Fine-tuning, servizio, distribuzione e monitoraggio di qualsiasi LLM con facilità.

 

1. Per avviare un server LLM, utilizza il seguente comando includendo il modello di tua scelta:

openllm start

 

Ad esempio, se desideri avviare un server OPT, esegui quanto segue:

openllm start opt

 

Modelli supportati

 

Sono supportati 10 modelli in OpenLLM. Puoi trovare anche i comandi di installazione di seguito:

1. chatglm

pip install "openllm[chatglm]"

Questo modello richiede una GPU.

1. Dolly-v2

pip install openllm

Questo modello può essere utilizzato sia sulla CPU che sulla GPU.

1. falcon

pip install "openllm[falcon]"

Questo modello richiede una GPU.

1. flan-t5

pip install "openllm[flan-t5]"

Questo modello può essere utilizzato sia sulla CPU che sulla GPU.

1. gpt-neox

pip install openllm

Questo modello richiede una GPU.

1. mpt

pip install "openllm[mpt]"

Questo modello può essere utilizzato sia sulla CPU che sulla GPU.

1. opt

pip install "openllm[opt]"

Questo modello può essere utilizzato sia sulla CPU che sulla GPU.

1. stablelm

pip install openllm

Questo modello può essere utilizzato sia sulla CPU che sulla GPU.

1. starcoder

pip install "openllm[starcoder]"

Questo modello richiede una GPU.

1. baichuan

pip install "openllm[baichuan]"

Questo modello richiede una GPU.

Per ulteriori informazioni sulle implementazioni in tempo di esecuzione, il supporto per il fine-tuning, l’integrazione di un nuovo modello e la distribuzione in produzione – consulta qui quello che soddisfa le tue esigenze.

Conclusione

Se stai cercando di utilizzare OpenLLM o hai bisogno di assistenza, puoi unirti alla loro comunità Discord e Slack. Puoi anche contribuire al codice di OpenLLM utilizzando la loro Guida per sviluppatori.

Qualcuno l’ha già provato? Se sì, faccelo sapere nei commenti! Nisha Arya è una Data Scientist, Freelance Technical Writer e Community Manager presso VoAGI. È particolarmente interessata a fornire consigli di carriera o tutorial basati sulla teoria della Data Science. Desidera anche esplorare i diversi modi in cui l’Intelligenza Artificiale può beneficiare della longevità della vita umana. Un’appassionata studentessa, alla ricerca di ampliare le sue conoscenze tecniche e le sue abilità di scrittura, aiutando nel frattempo a guidare gli altri.