Sfruttare il potere dei dati aziendali con l’IA generativa Spunti da Amazon Kendra, LangChain e grandi modelli di linguaggio.

Sfruttare il potere dei dati aziendali con l'IA generativa esempi da Amazon Kendra, LangChain e grandi modelli di linguaggio.

I modelli linguistici large (LLM) con la loro ampia conoscenza, possono generare testi simili a quelli umani su quasi tutti gli argomenti. Tuttavia, il loro addestramento su enormi set di dati ne limita anche l’utilità per compiti specializzati. Senza un apprendimento continuo, questi modelli rimangono ignoranti rispetto ai nuovi dati e alle tendenze che emergono dopo il loro addestramento iniziale. Inoltre, il costo per addestrare nuovi LLM può essere proibitivo per molti contesti aziendali. Tuttavia, è possibile incrociare una risposta del modello con il contenuto specializzato originale, evitando così la necessità di addestrare un nuovo modello LLM, utilizzando Retrieval-Augmented Generation (RAG).

RAG potenzia i LLM fornendo loro la capacità di recuperare e incorporare conoscenze esterne. Invece di affidarsi esclusivamente alla loro conoscenza pre-addestrata, RAG consente ai modelli di estrarre dati da documenti, database e altro ancora. Il modello integra quindi abilmente queste informazioni esterne nel testo generato. Recuperando dati rilevanti nel contesto, il modello può fornire risposte informate e aggiornate personalizzate per il tuo caso d’uso. L’aggiunta di conoscenze riduce anche la probabilità di allucinazioni e testo inaccurato o senza senso. Con RAG, i modelli fondamentali diventano esperti adattabili che si evolvono man mano che la tua base di conoscenze cresce.

Oggi, siamo entusiasti di svelare tre demo di intelligenza artificiale generativa, licenziate con licenza MIT-0:

  • Amazon Kendra con LLM fondamentali – Utilizza le potenti capacità di ricerca di Amazon Kendra combinate con l’ampia base di conoscenze di LLM. Questa integrazione fornisce risposte precise e consapevoli del contesto a query complesse estraendo da una gamma diversificata di fonti.
  • Modello di incorporamento con LLM fondamentali – Combina il potere degli incorporamenti, una tecnica per catturare i significati semantici di parole e frasi, con la vasta base di conoscenze dei LLM. Questa sinergia consente modellazione di argomenti più accurata, raccomandazioni di contenuti e capacità di ricerca semantica.
  • Generatore di annunci farmaceutici di modelli fondamentali – Un’applicazione specializzata su misura per l’industria farmaceutica. Sfruttando le capacità di generazione dei modelli fondamentali, questo strumento crea annunci farmaceutici convincenti e conformi, garantendo che i contenuti rispettino gli standard e le normative del settore.

Queste demo possono essere integrate in modo trasparente nel tuo account AWS, offrendo conoscenze e indicazioni fondamentali sull’utilizzo dei servizi AWS per creare un LLM generativo all’avanguardia di domanda e risposta e generazione di contenuti.

In questo articolo, esploreremo come RAG combinato con Amazon Kendra o incorporamenti personalizzati possa superare queste sfide e fornire risposte affinate a query in linguaggio naturale.

Panoramica della soluzione

Adottando questa soluzione, puoi ottenere i seguenti benefici:

  • Miglior accesso alle informazioni – RAG consente ai modelli di recuperare informazioni da vaste fonti esterne, il che può essere particolarmente utile quando le conoscenze pre-addestrate del modello sono obsolete o incomplete.
  • Scalabilità – Invece di addestrare un modello su tutti i dati disponibili, RAG consente ai modelli di recuperare informazioni rilevanti al momento opportuno. Ciò significa che man mano che nuovi dati diventano disponibili, possono essere aggiunti al database di recupero senza la necessità di riallenare l’intero modello.
  • Efficienza di memoria – I LLM richiedono una memoria significativa per memorizzare i parametri. Con RAG, il modello può essere più piccolo perché non è necessario memorizzare tutti i dettagli; può recuperarli quando necessario.
  • Aggiornamento dinamico delle conoscenze – A differenza dei modelli convenzionali con un punto finale di conoscenza predefinito, il database esterno di RAG può essere aggiornato regolarmente, concedendo al modello l’accesso a informazioni aggiornate. La funzione di recupero può essere calibrata per compiti specifici. Ad esempio, un compito diagnostico medico può recuperare dati da riviste mediche, garantendo che il modello acquisisca conoscenze esperte e pertinenti.
  • Riduzione dei pregiudizi – La possibilità di attingere a un database ben curato offre la possibilità di ridurre al minimo i pregiudizi, assicurando fonti esterne equilibrate e imparziali.

Prima di immergerci nell’integrazione di Amazon Kendra con LLM fondamentali, è fondamentale attrezzarsi con gli strumenti necessari e i requisiti di sistema. Avere la giusta configurazione è il primo passo verso un’implementazione senza intoppi delle demo.

Prerequisiti

Devi avere i seguenti prerequisiti:

Pur essendo possibile impostare e distribuire l’infrastruttura dettagliata in questo tutorial dal tuo computer locale, AWS Cloud9 offre un’alternativa conveniente. Preconfezionato con strumenti come AWS CLI, AWS CDK e Docker, AWS Cloud9 può fungere da postazione di distribuzione. Per utilizzare questo servizio, basta impostare l’ambiente tramite la console di AWS Cloud9.

Con i prerequisiti a posto, immergiamoci nelle funzionalità e capacità di Amazon Kendra con LLM fondamentali.

Amazon Kendra con LLM fondamentali

Amazon Kendra è un servizio di ricerca aziendale avanzato migliorato dall’apprendimento automatico (ML) che offre funzionalità di ricerca semantica immediate. Utilizzando l’elaborazione del linguaggio naturale (NLP), Amazon Kendra comprende sia il contenuto dei documenti che lo scopo sottostante delle query degli utenti, posizionandosi come uno strumento di recupero dei contenuti per soluzioni basate su RAG. Utilizzando i contenuti di ricerca ad alta precisione di Kendra come payload RAG, è possibile ottenere risposte LLM migliori. L’uso di Amazon Kendra in questa soluzione consente anche la ricerca personalizzata filtrando le risposte in base ai permessi di accesso al contenuto dell’utente finale.

Il diagramma seguente mostra l’architettura di un’applicazione AI generativa utilizzando l’approccio RAG.

I documenti vengono elaborati e indicizzati da Amazon Kendra tramite il connettore Amazon Simple Storage Service (Amazon S3). Le richieste dei clienti e i dati contestuali da Amazon Kendra vengono diretti verso un modello fondamentale di Amazon Bedrock. La demo consente di scegliere tra i modelli Titan di Amazon, Jurassic di AI21 e Claude di Anthropic supportati da Amazon Bedrock. La cronologia della conversazione viene salvata in Amazon DynamoDB, offrendo contesto aggiuntivo per generare risposte LLM.

Abbiamo fornito questa demo nel repo GitHub. Consulta le istruzioni di distribuzione nel file readme per distribuirlo nel tuo account AWS.

I seguenti passaggi illustrano il processo quando un utente interagisce con l’app AI generativa:

  1. L’utente accede all’app Web autenticata da Amazon Cognito.
  2. L’utente carica uno o più documenti in Amazon S3.
  3. L’utente avvia un lavoro di sincronizzazione di Amazon Kendra per inglobare i documenti S3 nell’indice di Amazon Kendra.
  4. La domanda dell’utente viene instradata tramite un’API WebSocket sicura ospitata su Amazon API Gateway supportata da una funzione AWS Lambda.
  5. La funzione Lambda, potenziata dal framework LangChain, uno strumento versatile progettato per creare applicazioni guidate da modelli di linguaggio AI, si collega all’endpoint di Amazon Bedrock per riformulare la domanda dell’utente in base alla cronologia della chat. Dopo la riformulazione, la domanda viene inoltrata a Amazon Kendra tramite l’API di recupero. In risposta, l’indice di Amazon Kendra visualizza i risultati della ricerca, fornendo estratti dai documenti pertinenti provenienti dai dati inglobati dell’azienda.
  6. La domanda dell’utente insieme ai dati recuperati dall’indice vengono inviati come contesto nel prompt LLM. La risposta dal LLM viene archiviata come cronologia delle chat all’interno di DynamoDB.
  7. Infine, la risposta dal LLM viene inviata all’utente.

Flusso di indicizzazione dei documenti

Ecco la procedura per il trattamento e l’indicizzazione dei documenti:

  1. Gli utenti inviano i documenti tramite l’interfaccia utente (UI).
  2. I documenti vengono trasferiti in un bucket S3 utilizzando l’API di AWS Amplify.
  3. Amazon Kendra indica i nuovi documenti nel bucket S3 attraverso il connettore S3 di Amazon Kendra.

Vantaggi

L’elenco seguente evidenzia i vantaggi di questa soluzione:

  • Recupero a livello aziendale – Amazon Kendra è progettato per la ricerca aziendale, rendendolo adatto alle organizzazioni con grandi quantità di dati strutturati e non strutturati.
  • Comprensione semantica – Le capacità di ML di Amazon Kendra garantiscono che il recupero si basi su una comprensione semantica approfondita e non solo su corrispondenze di parole chiave.
  • Scalabilità – Amazon Kendra gestisce origini dati su larga scala e fornisce risultati di ricerca rapidi e pertinenti.
  • Flessibilità – Il modello fondamentale può generare risposte basate su una vasta gamma di contesti, garantendo che il sistema rimanga versatile.
  • Capacità di integrazione – Amazon Kendra può essere integrato con vari servizi e origini dati di AWS, rendendolo adattabile alle diverse esigenze organizzative.

Modello di embedding con LLM fondamentale

Un embedding è un vettore numerico che rappresenta l’essenza centrale di diversi tipi di dati, tra cui testo, immagini, audio e documenti. Questa rappresentazione non solo cattura il significato intrinseco dei dati, ma li adatta anche a una vasta gamma di applicazioni pratiche. I modelli di embedding, un ramo di ML, trasformano dati complessi, come parole o frasi, in spazi vettoriali continui. Questi vettori comprendono intrinsecamente le connessioni semantiche tra i dati, consentendo confronti più approfonditi e illuminanti.

RAG combina perfettamente i punti di forza dei modelli fondamentali, come i transformer, con la precisione degli embedding per setacciare vaste basi di dati in cerca di informazioni pertinenti. Al ricevere una query, il sistema utilizza gli embedding per identificare ed estrarre sezioni rilevanti da un corpo esteso di dati. Il modello fondamentale formula quindi una risposta precisamente contestuale basandosi su queste informazioni estratte. Questa perfetta sinergia tra recupero dei dati e generazione delle risposte consente al sistema di fornire risposte approfondite, attingendo alla vasta conoscenza archiviata in basi di dati ampie.

Nella disposizione architetturale, in base alla selezione dell’interfaccia utente, gli utenti vengono guidati verso i modelli fondamentali di Amazon Bedrock o Amazon SageMaker JumpStart. I documenti vengono sottoposti a elaborazione e i vector embedding sono prodotti dal modello di embedding. Questi embedding vengono quindi indicizzati utilizzando FAISS per consentire una ricerca semantica efficiente. Le storie delle conversazioni vengono conservate in DynamoDB, arricchendo il contesto per la creazione di risposte del LLM.

Il diagramma seguente illustra l’architettura della soluzione e il flusso di lavoro.

Abbiamo fornito questa demo nel repo di GitHub. Consultare le istruzioni di distribuzione all’interno del file readme per distribuirlo nel proprio account AWS.

Modello di embedding

I compiti del modello di embedding sono i seguenti:

  • Questo modello è responsabile della conversione del testo (come documenti o brani) in rappresentazioni vettoriali dense, comunemente note come embedding.
  • Questi embedding catturano il significato semantico del testo, consentendo confronti efficienti e semanticamente significativi tra diverse parti di testo.
  • Il modello di embedding può essere addestrato sullo stesso corpus vasto del modello fondamentale o può essere specializzato per determinati domini.

Flusso di Q&A

I seguenti passi descrivono il flusso di domande e risposte sui documenti:

  1. L’utente accede all’app web autenticata da Amazon Cognito.
  2. L’utente carica uno o più documenti su Amazon S3.
  3. Al trasferimento del documento, una notifica di evento di S3 attiva una funzione Lambda, che a sua volta chiama il punto finale del modello di inserimento di SageMaker per generare le incastonature per il nuovo documento. Il modello di incastonature converte la domanda in una rappresentazione vettoriale densa (incastonamento). Il file di vettori risultante viene archiviato in modo sicuro all’interno del bucket S3.
  4. Il recuperatore FAISS confronta questa incastonatura della domanda con le incastonature di tutti i documenti o passaggi nel database per trovare i passaggi più rilevanti.
  5. I passaggi, insieme alla domanda dell’utente, vengono forniti come contesto al modello fondamentale. La funzione Lambda utilizza la libreria LangChain e si connette al punto finale di Amazon Bedrock o SageMaker JumpStart con una query inserita nel contesto.
  6. La risposta del LLM viene memorizzata in DynamoDB insieme alla query dell’utente, al timestamp, a un identificatore unico e ad altri identificatori arbitrari per l’elemento come la categoria della domanda. Memorizzare la domanda e la risposta come elementi disconnessi consente alla funzione Lambda di ricreare facilmente la cronologia delle conversazioni dell’utente sulla base del momento in cui sono state fatte le domande.
  7. Infine, la risposta viene inviata all’utente tramite una richiesta HTTPS tramite l’integrazione della risposta dell’API Gateway WebSocket API.

Benefici

L’elenco seguente descrive i benefici di questa soluzione:

  • Comprensione semantica – Il modello di incastonamenti garantisce che il recuperatore selezioni i passaggi sulla base di una comprensione semantica approfondita, non solo di corrispondenze di parole chiave.
  • Scalabilità – Gli incastonamenti consentono confronti efficienti di similarità, consentendo di cercare rapidamente in vaste basi di dati di documenti.
  • Flessibilità – Il modello fondamentale può generare risposte in base a una vasta gamma di contesti, garantendo che il sistema rimanga versatile.
  • Adattabilità di dominio – Il modello di incastonamento può essere addestrato o ottimizzato per domini specifici, consentendo di adattare il sistema a varie applicazioni.

Generatore di annunci farmaceutici utilizzando modello fondamentale

Nell’industria farmaceutica odierna, la pubblicità efficiente e localizzata è più cruciale che mai. Ecco dove entra in gioco una soluzione innovativa, che utilizza il potere dell’intelligenza artificiale generativa per creare annunci farmaceutici localizzati da immagini e PDF di origine. Oltre a velocizzare il processo di generazione di annunci, questo approccio semplifica il processo di revisione medica-legale (MLR). MLR è un meccanismo rigoroso di revisione in cui i team medici, legali e regolatori valutano attentamente i materiali promozionali per garantire la loro precisione, fondatezza scientifica e conformità normativa. I metodi tradizionali di creazione di contenuti possono essere complicati, spesso richiedono regolazioni manuali e revisioni estese per garantire l’allineamento con la conformità regionale e la pertinenza. Tuttavia, con l’avvento dell’intelligenza artificiale generativa, adesso possiamo automatizzare la creazione di annunci che risuonano veramente con il pubblico locale, mantenendo al tempo stesso standard e linee guida rigorosi.

Il diagramma seguente illustra l’architettura della soluzione.

Nella disposizione architettonica, in base al modello selezionato e alle preferenze degli annunci, gli utenti vengono guidati in modo fluido verso i modelli fondamentali di Amazon Bedrock. Questo approccio snellito garantisce che i nuovi annunci vengano generati precisamente secondo la configurazione desiderata. Come parte del processo, i documenti vengono gestiti in modo efficiente da Amazon Textract, con il testo risultante archiviato in modo sicuro in DynamoDB. Una caratteristica distintiva è il design modulare per la generazione di immagini e testi, che permette di rigenerare autonomamente qualsiasi componente secondo necessità.

Abbiamo fornito questa demo nel repo di GitHub. Consultare le istruzioni di distribuzione nel file readme per effettuarne la distribuzione nel proprio account AWS.

Flusso di generazione dei contenuti

I seguenti passaggi delineano il processo di generazione dei contenuti:

  1. L’utente sceglie il suo documento, l’immagine di origine, la posizione dell’annuncio, la lingua e lo stile dell’immagine.
  2. L’accesso sicuro all’applicazione web è garantito tramite l’autenticazione di Amazon Cognito.
  3. La parte front-end dell’applicazione web è ospitata tramite Amplify.
  4. Un’API WebSocket, gestita da API Gateway, facilita le richieste dell’utente. Queste richieste sono autenticate tramite Identity and Access Management (IAM) di AWS.
  5. L’integrazione con Amazon Bedrock include i seguenti passaggi:
    • Una funzione Lambda utilizza la libreria LangChain per connettersi al punto di accesso di Amazon Bedrock utilizzando una query ricca di contesto.
    • Il modello fondamentale di testo-a-testo crea un annuncio adeguato al contesto in base al contesto e alle impostazioni fornite.
    • Il modello fondamentale di testo-immagine crea un’immagine personalizzata, influenzata dall’immagine di origine, lo stile scelto e la posizione.
  6. L’utente riceve la risposta tramite una richiesta HTTPS tramite l’API integrata di API Gateway WebSocket.

Flusso di elaborazione di documenti e immagini

Ecco la procedura per l’elaborazione di documenti e immagini:

  1. L’utente carica le risorse tramite l’interfaccia utente specificata.
  2. L’API di Amplify trasferisce i documenti in un bucket S3.
  3. Dopo il trasferimento delle risorse in Amazon S3, si verifica una delle seguenti azioni:
    • Se si tratta di un documento, una funzione Lambda utilizza Amazon Textract per elaborare ed estrarre il testo per la generazione dell’annuncio.
    • Se si tratta di un’immagine, la funzione Lambda la converte in formato base64, adatto per il modello Stable Diffusion per creare una nuova immagine dalla sorgente.
  4. Il testo estratto o la stringa dell’immagine base64 vengono salvati in modo sicuro in DynamoDB.

Vantaggi

Ecco l’elenco dei vantaggi di questa soluzione:

  • Efficienza – L’utilizzo dell’IA generativa accelera significativamente il processo di generazione degli annunci, eliminando la necessità di regolazioni manuali.
  • Conformità alle direttive – La soluzione garantisce che gli annunci generati rispettino specifiche linee guida e normative, come le linee guida della FDA per il marketing.
  • Convenienza economica – Automatizzando la creazione di annunci personalizzati, le aziende possono ridurre significativamente i costi associati alla produzione e alle revisioni degli annunci.
  • Semplificazione del processo MLR – La soluzione semplifica il processo di revisione di conformità, riducendo i punti di attrito e garantendo revisioni più efficaci.
  • Resonanza locale – L’IA generativa genera annunci che risuonano con il pubblico locale, garantendo rilevanza e impatto nelle diverse regioni.
  • Standardizzazione – La soluzione mantiene gli standard e le linee guida necessarie, garantendo coerenza in tutti gli annunci generati.
  • Scalabilità – L’approccio basato su IA può gestire vaste basi di dati di immagini di origine e PDF, rendendolo fattibile per la generazione di annunci su larga scala.
  • Riduzione dell’intervento manuale – L’automazione riduce la necessità di intervento umano, minimizzando gli errori e garantendo coerenza.

Puoi implementare l’infrastruttura di questo tutorial dal tuo computer locale o puoi utilizzare AWS Cloud9 come postazione di distribuzione. AWS Cloud9 viene fornito pre-caricato con AWS CLI, AWS CDK e Docker. Se scegli AWS Cloud9, crea l’ambiente dalla console di AWS Cloud9.

Pulizia

Per evitare costi inutili, pulisci tutta l’infrastruttura creata tramite la console di AWS CloudFormation o eseguendo il seguente comando sulla tua postazione di lavoro:

$ cdk destroy —all.

Inoltre, ricorda di interrompere eventuali endpoint di SageMaker avviati tramite la console di SageMaker. Ricorda che l’eliminazione di un indice di Amazon Kendra non rimuove i documenti originali dal tuo archivio.

Conclusione

L’IA generativa, rappresentata dai LLM, rappresenta una svolta paradigmatica nel modo in cui accediamo e generiamo informazioni. Questi modelli, pur potenti, sono spesso limitati dai confini dei loro dati di addestramento. RAG affronta questa sfida, garantendo che la vasta conoscenza contenuta in questi modelli sia costantemente arricchita con informazioni rilevanti e attuali.

I nostri demo basati su RAG offrono una testimonianza tangibile di ciò. Mostrano la sinergia perfetta tra Amazon Kendra, i vettori di embedding e LLMs, creando un sistema in cui le informazioni non sono solo vaste, ma anche accurate e tempestive. Mentre ti immergi in questi demo, esplorerai di prima mano il potenziale di trasformazione dell’unione di conoscenze pre-allenate con le capacità dinamiche di RAG, ottenendo risultati affidabili e su misura per i contenuti aziendali.

Sebbene l’IA generativa supportata da LLMs apra una nuova strada per ottenere informazioni, queste informazioni devono essere affidabili e limitate ai contenuti aziendali utilizzando l’approccio RAG. Questi demo basati su RAG ti permettono di avere conoscenze accurate e aggiornate. La qualità di queste informazioni dipende dalla rilevanza semantica, abilitata dall’uso di Amazon Kendra e dei vettori di embedding.

Se sei pronto a esplorare ulteriormente e sfruttare il potere dell’IA generativa, ecco i tuoi prossimi passi:

  • Interagisci con i nostri demo – L’esperienza pratica è inestimabile. Esplora le funzionalità, comprendi le integrazioni e familiarizza con l’interfaccia.
  • <strong – Approfitta delle risorse disponibili. AWS offre documentazione approfondita, tutorial e supporto della community per aiutarti nel tuo percorso di IA.
  • Avvia un progetto pilota – Considera di iniziare con un’implementazione su piccola scala dell’IA generativa nella tua azienda. Questo fornirà informazioni sulla praticità e l’adattabilità del sistema nel tuo contesto specifico.

Per maggiori informazioni sulle applicazioni di IA generativa su AWS, consulta i seguenti link:

Ricorda, il panorama dell’IA è in costante evoluzione. Resta aggiornato, mantieni la curiosità e sii sempre pronto ad adattarti e innovare.

Ricercatori dell’Università di Cambri...
KOSMOS-2 Un grande modello linguistico mult...
Torna alle basi regressione probit
Incontra CodeGPT un nuovo strumento di gene...
Il nuovo modello di intelligenza artificial...
Ricercatori di Amazon presentano Fortuna un...
AI

AI

Esplora il mondo dell'Intelligenza Artificiale e il suo potenziale trasformativo