LLMOps – La prossima frontiera di MLOps

LLMOps - La nuova era degli MLOps

Recentemente Sahar Dolev-Blitental, VP di Marketing presso Iguazio, si è unito a noi per un breve intervista su LLMOps e la nuova frontiera di MLOps. Nel corso di quasi un’ora, Sahar ha discusso molti aspetti del campo emergente di LLMOps, dalla definizione del campo ai casi d’uso e alle migliori pratiche. Continua a leggere per i punti chiave dell’intervista, o puoi guardare il video completo qui.

Cosa sono LLMOps?

“Il ritmo rapido di [generative AI] e il fatto che tutti ne parlano rende MLOps e LLMOps molto più importanti che mai”.

I Grandi Modelli Linguistici presentano una serie di sfide e complessità. Come nota Sahar, la scala dei LLM richiede più GPU e presenta rischi diversi. C’è anche una maggiore attenzione all’efficienza per compensare la quantità aumentata di risorse richiesta dai LLM. Tuttavia, spiega Sahar, le basi di MLOps e LLMOps sono le stesse, ciò che li separa è la scala dei modelli che vengono portati attraverso il loro ciclo di vita fino al rilascio.

Casi d’uso di LLMOps

“Solo il 2% delle applicazioni di oggi è AI generativo. Voglio dire, il 90% della conversazione riguarda sicuramente l’AI generativa, ma nella pratica solo circa il 2% delle applicazioni è guidato dall’AI generativa. Quindi, penso che sia ancora molto presto….”

Anche se il campo è ancora nei suoi primi passi, LLMOps vengono utilizzati per supportare applicazioni di AI generativa nella produzione. Durante l’intervista, Sahar ha esplorato due casi d’uso: esperti di materia e analisi dei call center.

Gli esperti di materia sono spesso impiegati nei settori della salute e del commercio al dettaglio e assumono la forma di chatbot esperti in un argomento designato. Ad esempio, potresti trovarli incorporati nel sito web per aiutare direttamente i clienti o in un ruolo di supporto per i team di successo del cliente.

Nel caso dell’analisi dei call center, queste applicazioni possono essere utilizzate per l’analisi del sentiment per approfondire l’argomento trattato e identificare dipendenti che hanno bisogno di maggiore supporto. In entrambi questi casi, queste applicazioni vengono utilizzate per aiutare i dipendenti a svolgere meglio il loro lavoro e aumentare la soddisfazione.

Migliori pratiche

“Il primo consiglio è che non è necessario costruire il proprio LLM”.

Ultimo argomento che affronteremo sono le migliori pratiche per le organizzazioni più piccole che desiderano implementare LLM e per ridurre al minimo i bias nei modelli.

Per le organizzazioni più piccole con problemi di costo, Sahar consiglia di cercare LLM esistenti anziché costruire uno da zero. Ciò può ridurre il costo dell’addestramento. In secondo luogo, suggerisce di mantenere lo scopo del tuo caso d’uso di LLM molto ristretto. Ciò impedisce al LLM di sprecare risorse in lavoro che non crea valore.

Per evitare il bias, Sarah evidenzia due aree molto importanti. Prima di tutto, la preparazione dei dati è essenziale. Se i dati sono di parte, anche l’output sarà di parte. Ci sono diverse modalità per evitare un set di dati di parte:

  • Costruisci un team diversificato che rappresenti una vasta gamma di background diversi
  • Fornire un set di dati diversificato dall’inizio
  • Monitoraggio costante e impegno per la ritrattazione quando si rileva un bias.

Conclusione

Per saperne di più su LLM e LLMOps, unisciti a noi presso ODSC West dal 30 ottobre al 2 novembre. Con una track completa dedicata a NLP e LLMs, potrai godere di presentazioni, sessioni, eventi e altro ancora incentrati su questo settore dinamico.

Le sessioni confermate su LLM includono:

  • Personalizzazione di LLM con un Feature Store
  • Tecniche di valutazione per i Grandi Modelli Linguistici
  • Creazione di un bot per domande/risposte esperto con strumenti open-source e LLM
  • Comprensione del panorama dei Grandi Modelli
  • Democratizzare il fine-tuning dei Grandi Modelli open-source con l’ottimizzazione dei sistemi congiunti
  • Creazione di lavoratori del sapere basati su LLM sui tuoi dati con LlamaIndex
  • Apprendimento autosupervisionato generale ed efficiente con data2vec
  • Verso LLM spiegabili e indipendenti dalla lingua
  • Fine-tuning di LLM sui messaggi di Slack
  • Oltre alle demo e ai prototipi: come costruire applicazioni pronte per la produzione utilizzando LLM open-source
  • L’adozione dei modelli di linguaggio richiede la gestione del rischio – così si fa
  • Connettere i Grandi Modelli Linguistici – Suggerimenti e sfide comuni
  • Un’introduzione ai LLMs e a PaLM 2: Un LLM più piccolo, più veloce e più capace
  • L’English SDK per Apache Spark™
  • Integrare Modelli Linguistici per l’ideazione di ingegneria delle caratteristiche automatiche
  • Come fornire LLM accurati dal punto di vista contestuale
  • Retrieval Augmented Generation (RAG) 101: Creazione di un “ChatGPT open-source per i tuoi dati” con Llama 2, LangChain e Pinecone
  • Creazione utilizzando Llama 2
  • Migliori pratiche di LLM: addestramento, fine-tuning e trucchi all’avanguardia della ricerca
  • Gestione del rischio AI hands-on: utilizzo del framework dell’NIST A