Interrogare un corpus di documenti in modalità GPT con Prompt Flow di Azure

Interrogare un corpus di documenti con GPT Prompt Flow di Azure

Come vettorizzare automaticamente i contenuti e creare meccanismi simili a LangChain per interrogare efficacemente un corpo di documenti

Foto di Kenny Eliason su Unsplash

La febbre di GPT

Tutte le persone appassionate di tecnologia in tutto il mondo si sono divertite per un po’ con ChatGPT…

  • Molti di loro lo hanno usato come un database di conoscenza molto intelligente 🔎,
  • Alcuni hanno esplorato l'”Arte del Prompting” (o “Ingegneria del Prompt”) per ottenere risultati più rilevanti, a volte utilizzando i propri dati 🤖,
  • Ma solo pochi sono andati oltre e hanno sfruttato soluzioni come LangChain per costruire flussi di lavoro complessi e creare applicazioni reali 📚.

E’ vero che padroneggiare concetti come “embeddings” o “archivi vettoriali”, combinati con i requisiti di programmazione, può sembrare complesso per molti e impedire loro di sfruttare realmente il potere dei LLM (Large Language Models).

Ecco dove entra in gioco “Prompt Flow”!

Scopriamo come costruire un potente strumento di domande e risposte in low code è ora possibile in Azure!

Prerequisiti

Assumerò che tu abbia i diritti necessari per creare le risorse necessarie per questo tutorial, la più importante è avere uno “Spazio di lavoro Azure Machine Learning”.

Pagina di destinazione di Azure Machine Learning Studio (Immagine dell'autore)

La funzionalità “Prompt Flow”, così come il “Catalogo dei Modelli” (che ti consente di distribuire LLM curati da Azure, Hugging Face, Meta, ecc.), sono attualmente in anteprima privata o pubblica, quindi dovrai iscriverti alla lista di attesa prima di poter attivare e utilizzare.

Catalogo dei Modelli e Prompt Flow in Azure Machine Learning Studio (Immagine dell'autore)

Costruire un Indice Vettoriale

Comprendere gli Embeddings

Per elaborare in modo efficiente un grande corpus e superare la limitazione dei token dei modelli attuali, è necessario suddividere ogni documento in frammenti (ad esempio ogni pagina) e convertire il…