Potenzia i tuoi utenti aziendali per estrarre informazioni dai documenti aziendali utilizzando Amazon SageMaker Canvas Generative AI.

Valorizza i tuoi utenti aziendali per ottenere informazioni da documenti aziendali utilizzando Amazon SageMaker Canvas Generative AI.

Le aziende cercano di sfruttare il potenziale dell’apprendimento automatico (ML) per risolvere problemi complessi e migliorare i risultati. Fino a poco tempo fa, la creazione e l’implementazione di modelli di ML richiedevano livelli elevati di competenze tecniche e di programmazione, compresa l’ottimizzazione dei modelli di ML e la gestione delle pipeline operative. Dall’introduzione nel 2021, Amazon SageMaker Canvas ha permesso agli analisti aziendali di creare, implementare e utilizzare una varietà di modelli di ML – inclusi tabulari, di visione artificiale e di elaborazione del linguaggio naturale – senza scrivere una riga di codice. Ciò ha accelerato la capacità delle aziende di applicare ML a casi d’uso come la previsione delle serie storiche, la previsione della defezione dei clienti, l’analisi dei sentimenti, il rilevamento delle difettosità industriali e molti altri.

Come annunciato il 5 ottobre 2023, SageMaker Canvas ha ampliato il supporto dei modelli ai modelli fondamentali (FMs) – grandi modelli di linguaggio utilizzati per generare e riassumere contenuti. Con il rilascio del 12 ottobre 2023, SageMaker Canvas consente agli utenti di porre domande e ottenere risposte basate sui dati aziendali. Ciò garantisce che i risultati siano specifici del contesto, aprendo ulteriori casi d’uso in cui ML senza codice può essere applicato per risolvere problemi aziendali. Ad esempio, i team aziendali possono formulare risposte coerenti con il vocabolario e i principi specifici dell’organizzazione, e possono interrogare più rapidamente documenti lunghi per ottenere risposte specifiche e basate sui contenuti di tali documenti. Tutti questi contenuti vengono eseguiti in modo privato e sicuro, garantendo che tutti i dati sensibili vengano accessibili con la giusta governance e le opportune protezioni.

Per iniziare, un amministratore di sistema cloud configura e popola gli indici di Amazon Kendra con i dati aziendali come fonti di dati per SageMaker Canvas. Gli utenti di Canvas selezionano l’indice in cui si trovano i loro documenti e possono ideare, cercare ed esplorare sapendo che l’output sarà sempre supportato dalle loro fonti di verità. SageMaker Canvas utilizza FMs all’avanguardia di Amazon Bedrock e Amazon SageMaker JumpStart. Le conversazioni possono essere avviate con più FMs affiancati, confrontando gli output e rendendo davvero accessibile l’IA generativa a tutti.

In questo post, esamineremo la funzionalità recentemente rilasciata, discuteremo dell’architettura e presenteremo una guida passo-passo per abilitare SageMaker Canvas a interrogare documenti dalla tua base di conoscenza, come mostrato nella seguente illustrazione dello schermo.

• Incontra FreeU Una nuova tecnica di intelligenza artificiale per migliorare la qualità generativa senza ulteriori addestramenti o affinamenti
• Cerca intelligentemente i contenuti di Drupal utilizzando Amazon Kendra
• Intuitivo ottiene una maggiore capacità di elaborazione risparmiando sui costi di AI/ML utilizzando AWS Inferentia e PyTorch

Panoramica della soluzione

I modelli di base possono produrre allucinazioni – risposte che sono generiche, vaghe, non correlate o factualmente errate. Retrieval Augmented Generation (RAG) è un approccio spesso utilizzato per ridurre le allucinazioni. Le architetture RAG vengono utilizzate per recuperare dati al di fuori di un FM, che vengono poi utilizzati per eseguire l’apprendimento contestuale per rispondere alla query dell’utente. Ciò garantisce che il FM possa utilizzare dati provenienti da una base di conoscenza affidabile e utilizzare tali conoscenze per rispondere alle domande degli utenti, riducendo il rischio di allucinazioni.

Con RAG, i dati esterni al FM e utilizzati per integrare le richieste dell’utente possono provenire da diverse fonti di dati disparate, come repository di documenti, database o API. Il primo passo consiste nel convertire i documenti e le eventuali query degli utenti in un formato compatibile per eseguire una ricerca semantica di rilevanza. Per rendere i formati compatibili, una collezione di documenti o libreria di conoscenze e le query inviate dall’utente vengono convertite in rappresentazioni numeriche utilizzando modelli di embedding.

Con questo rilascio, la funzionalità RAG viene fornita in modo senza codice e senza soluzione di continuità. Le aziende possono arricchire l’esperienza di chat in Canvas con Amazon Kendra come sistema di gestione delle conoscenze sottostante. Il diagramma seguente illustra l’architettura della soluzione.

Collegare SageMaker Canvas ad Amazon Kendra richiede una configurazione una tantum. Descriviamo il processo di configurazione in dettaglio in Configurazione di Canvas per interrogare i documenti. Se non hai ancora configurato il tuo dominio SageMaker, consulta Onboard to Amazon SageMaker Domain.

Come parte della configurazione del dominio, un amministratore cloud può scegliere uno o più indici Kendra che l’analista aziendale può interrogare durante l’interazione con il FM attraverso SageMaker Canvas.

Dopo che gli indici Kendra sono stati idratati e configurati, gli analisti aziendali li utilizzano con SageMaker Canvas avviando una nuova chat e selezionando l’interruttore “Query Documents”. SageMaker Canvas gestirà quindi la comunicazione sottostante tra Amazon Kendra e l’FM di scelta per eseguire le seguenti operazioni:

1. Eseguire query sugli indici Kendra con la domanda proveniente dall’utente.
2. Recuperare i frammenti (e le fonti) dagli indici Kendra.
3. Ingegnare il prompt con i frammenti con la query originale in modo che il modello di base possa generare una risposta dai documenti recuperati.
4. Fornire all’utente la risposta generata, insieme ai riferimenti alle pagine/documenti utilizzati per formulare la risposta.

Configurazione di Canvas per interrogare i documenti

In questa sezione, ti guideremo nei passaggi per configurare Canvas per interrogare i documenti serviti attraverso gli indici Kendra. Dovresti avere i seguenti prerequisiti:

• Configurazione del dominio SageMaker – Onboard to Amazon SageMaker Domain
• Crea un indice Kendra (o più di uno)
• Configura il connettore Kendra Amazon S3: segui il Amazon S3 Connector – e carica file PDF e altri documenti nel bucket Amazon S3 associato all’indice Kendra
• Configura IAM in modo che Canvas abbia le autorizzazioni appropriate, inclusi quelli necessari per chiamare Amazon Bedrock e/o gli endpoint di SageMaker – segui la documentazione Set-up Canvas Chat

Ora puoi aggiornare il dominio in modo che possa accedere agli indici desiderati. Nella console di SageMaker, per il dominio specificato, seleziona Modifica nella scheda Impostazioni del dominio. Abilita l’interruttore “Abilita interrogazione dei documenti con Amazon Kendra” che puoi trovare nel passaggio Impostazioni di Canvas. Una volta attivata, scegli uno o più indici Kendra che desideri utilizzare con Canvas.

Questo è tutto ciò che è necessario per configurare la funzionalità di interrogazione dei documenti di Canvas. Gli utenti possono ora iniziare una chat all’interno di Canvas e iniziare a utilizzare le knowledge base che sono state collegate al dominio tramite gli indici Kendra. I responsabili della knowledge base possono continuare a aggiornare la fonte di verità e, con la capacità di sincronizzazione in Kendra, gli utenti della chat saranno automaticamente in grado di utilizzare le informazioni sempre aggiornate in modo fluido.

Utilizzo della funzionalità Query Documents per la chat

Come utente di SageMaker Canvas, la funzionalità Query Documents può essere accessibile da una chat. Per avviare la sessione di chat, fai clic o cerca il pulsante “Genera, estrai e riassumi contenuti” nella scheda Modelli pronti all’uso in SageMaker Canvas.

Una volta lì, puoi accendere e spegnere i documenti di query con l’interruttore in alto dello schermo. Controlla l’informazione prompt per saperne di più sulla funzione.

Quando Query Documents è abilitato, puoi scegliere tra un elenco di indici Kendra abilitati dall’amministratore del cloud.

Puoi selezionare un indice quando avvii una nuova chat. Puoi quindi fare una domanda nell’UX con la conoscenza che viene automaticamente acquisita dall’indice selezionato. Nota che dopo che una conversazione è iniziata su un indice specifico, non è possibile passare a un altro indice.

Per le domande fatte, la chat mostrerà la risposta generata dal FM insieme ai documenti di origine che hanno contribuito a generare la risposta. Cliccando su uno dei documenti di origine, Canvas apre una anteprima del documento, evidenziando l’estratto utilizzato dal FM.

Conclusione

L’IA conversazionale ha un enorme potenziale per trasformare l’esperienza dei clienti e dei dipendenti fornendo un assistente simile a un essere umano con interazioni naturali e intuitive come:

• Svolgere ricerche su un argomento o cercare e navigare nella base di conoscenza dell’organizzazione
• Riassumere volumi di contenuti per raccogliere rapidamente informazioni
• Ricercare entità, sentimenti, PII e altri dati utili, e aumentare il valore aziendale dei contenuti non strutturati
• Generare bozze di documenti e corrispondenza commerciale
• Creare articoli di conoscenza da diverse fonti interne (incidenti, log delle chat, wiki)

L’integrazione innovativa delle interfacce di chat, il recupero delle conoscenze e i FM consentono alle aziende di fornire risposte accurate e pertinenti alle domande degli utenti utilizzando la loro conoscenza di dominio e le fonti di verità.

Collegando SageMaker Canvas alle basi di conoscenza in Amazon Kendra, le organizzazioni possono mantenere i propri dati proprietari all’interno del loro ambiente beneficiando comunque delle capacità di linguaggio naturale all’avanguardia dei FM. Con il lancio della funzione dei documenti di query di SageMaker Canvas, rendiamo facile per qualsiasi azienda utilizzare LLM e la loro conoscenza aziendale come fonte di verità per alimentare un’esperienza di chat sicura. Tuttà questa funzionalità è disponibile in un formato senza codice, consentendo alle aziende di evitare di gestire compiti ripetitivi e non specializzati.

Per saperne di più su SageMaker Canvas e come aiuti a facilitare l’uso del Machine Learning per tutti, dai un’occhiata all’annuncio di SageMaker Canvas. Per saperne di più su come SageMaker Canvas promuova la collaborazione tra data scientist e analisti aziendali leggi il post su Build, Share & Deploy. Infine, per imparare come creare il tuo workflow di generazione con recupero aumentato, consulta SageMaker JumpStart RAG.

Riferimenti

Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W., Rocktäschel, T., Riedel, S., Kiela, D. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems, 33, 9459-9474.