Accenture crea una soluzione di Knowledge Assist utilizzando i servizi di intelligenza artificiale generativa su AWS

Accenture sviluppa una soluzione di Knowledge Assist tramite l'utilizzo dei servizi di intelligenza artificiale generativa su AWS

Questo post è scritto in collaborazione con Ilan Geller e Shuyu Yang di Accenture.

Oggi le aziende si trovano di fronte a sfide importanti quando si tratta di utilizzare le loro informazioni e le loro basi di conoscenza per le operazioni aziendali interne ed esterne. Con operazioni, processi, politiche ed esigenze di conformità in continua evoluzione, può essere estremamente difficile per dipendenti e clienti restare aggiornati. Allo stesso tempo, la natura non strutturata di gran parte di questi contenuti rende la ricerca tradizionale molto lenta.

Internamente, i dipendenti possono passare ore alla ricerca delle informazioni di cui hanno bisogno per svolgere il proprio lavoro, portando a frustrazione e riduzione della produttività. E quando non trovano le risposte, devono far salire il problema di livello o prendere decisioni senza un quadro completo, il che può comportare rischi.

Esternamente, anche i clienti possono trovare frustrante trovare le informazioni che stanno cercando. Sebbene le basi di conoscenza aziendali abbiano migliorato nel tempo l’esperienza del cliente, possono comunque essere ingombranti e difficili da usare. Che si tratti di cercare risposte a domande relative a un prodotto o di ottenere informazioni sugli orari di apertura e sulle sedi, una cattiva esperienza può portare a frustrazione o, peggio ancora, alla perdita del cliente.

• Crea un modello di apprendimento automatico per la segmentazione delle colture con i dati di Planet e le capacità geospaziali di Amazon SageMaker.
• Creare un flusso di lavoro MLOps end-to-end per l’ispezione della qualità visiva in edge – Parte 2
• I modelli di generazione del codice Llama di Meta sono ora disponibili tramite Amazon SageMaker JumpStart

In entrambi i casi, mentre la gestione della conoscenza diventa sempre più complessa, l’IA generativa rappresenta un’opportunità rivoluzionaria per le aziende di collegare le persone alle informazioni di cui hanno bisogno per svolgere e innovare. Con la giusta strategia, queste soluzioni intelligenti possono trasformare il modo in cui la conoscenza viene catturata, organizzata e utilizzata in un’organizzazione.

Per affrontare questa sfida, Accenture ha collaborato con AWS per creare un’innovativa soluzione di AI generativa chiamata Knowledge Assist. Utilizzando i servizi di AI generativa di AWS, il team ha sviluppato un sistema in grado di elaborare e comprendere enormi quantità di contenuti non strutturati aziendali.

Al posto delle tradizionali ricerche per parole chiave, gli utenti possono ora fare domande ed estrarre risposte precise tramite un’interfaccia semplice e conversazionale. L’IA generativa comprende il contesto e le relazioni all’interno della base di conoscenza per fornire risposte personalizzate ed accurate. Man mano che riceve più domande, il sistema migliora continuamente il suo elaborazione del linguaggio attraverso algoritmi di apprendimento automatico (ML).

Dopo il lancio di questo framework di assistenza AI, le aziende hanno registrato un miglioramento drammatico nella conservazione delle conoscenze dei dipendenti e nella produttività. Fornendo un accesso rapido e preciso alle informazioni e consentendo ai dipendenti di risolvere da soli, questa soluzione riduce il tempo di formazione per i nuovi assunti di oltre il 50% e riduce le richieste di assistenza del 40%.

Grazie al potere dell’IA generativa, le aziende possono trasformare il modo in cui la conoscenza viene catturata, organizzata e condivisa in tutta l’organizzazione. Sbloccando le loro basi di conoscenza esistenti, le aziende possono aumentare la produttività dei dipendenti e la soddisfazione dei clienti. Come dimostra la collaborazione di Accenture con AWS, il futuro della gestione della conoscenza aziendale risiede in sistemi basati sull’IA che si sviluppano attraverso le interazioni tra esseri umani e macchine.

Accenture sta lavorando con AWS per aiutare i clienti a implementare Amazon Bedrock, utilizzare i modelli fondamentali più avanzati come Amazon Titan e implementare tecnologie leader del settore come Amazon SageMaker JumpStart e Amazon Inferentia insieme ad altri servizi di ML di AWS.

Questo post fornisce una panoramica di una soluzione di AI generativa end-to-end sviluppata da Accenture per un caso d’uso di produzione utilizzando Amazon Bedrock e altri servizi AWS.

Panoramica della soluzione

Un grande cliente del settore sanitario pubblico serve milioni di cittadini ogni giorno e questi richiedono un facile accesso a informazioni aggiornate in un panorama sanitario sempre in evoluzione. Accenture ha integrato questa funzionalità di IA generativa in un bot FAQ esistente, consentendo al chatbot di fornire risposte a una gamma più ampia di domande degli utenti. Aumentare la capacità dei cittadini di accedere alle informazioni pertinenti in modo autonomo risparmia tempo e denaro al dipartimento, riducendo la necessità di interazione con gli operatori del call center. Le caratteristiche chiave della soluzione includono:

• Approccio ibrido all’intento – Utilizza intenzioni generative e preallenate
• Supporto multilingue – Conversa in inglese e spagnolo
• Analisi conversazionale – Rileva i bisogni, i sentimenti e le preoccupazioni degli utenti
• Conversazioni naturali – Mantiene il contesto con un’elaborazione del linguaggio naturale (NLP) simile a quella umana
• Citazioni trasparenti – Guida gli utenti alle informazioni di origine

La soluzione di intelligenza artificiale generativa di Accenture offre i seguenti vantaggi rispetto ai framework di chatbot esistenti o tradizionali:

• Genera risposte accurate, pertinenti e naturali alle domande degli utenti in modo rapido
• Ricorda il contesto e risponde alle domande successive
• Gestisce le query e genera risposte in più lingue (come l’inglese e lo spagnolo)
• Apprende e migliora continuamente le risposte in base al feedback degli utenti
• È facilmente integrabile con la tua piattaforma web esistente
• Assimila una vasta base di conoscenze aziendali
• Risponde in modo simile a un essere umano
• L’evoluzione delle conoscenze è continuamente disponibile con un minimo o nessun sforzo
• Utilizza un modello di pagamento in base all’utilizzo senza costi iniziali

Il workflow di alto livello di questa soluzione prevede i seguenti passaggi:

1. Gli utenti creano un’integrazione semplice con le piattaforme web esistenti.
2. I dati vengono assimilati nella piattaforma come caricamento massivo al giorno 0 e poi caricamenti incremental i giorni successivi.
3. Le query degli utenti vengono elaborate in tempo reale e il sistema si scala in base alla richiesta degli utenti.
4. Le conversazioni vengono salvate nei database dell’applicazione (Amazon Dynamo DB) per supportare le conversazioni multiple.
5. Il modello di base Anthropic Claude viene invocato tramite Amazon Bedrock, che viene utilizzato per generare risposte alle query in base ai contenuti più pertinenti.
6. Il modello di base Anthropic Claude viene utilizzato per tradurre le query, così come le risposte, dall’inglese ad altre lingue desiderate per supportare conversazioni multilingue.
7. Il modello di base Amazon Titan viene invocato tramite Amazon Bedrock per generare vettori di embedding.
8. La rilevanza del contenuto viene determinata mediante la similarità tra gli embedding del contenuto grezzo e l’embedding della query dell’utente utilizzando gli embedding del database vettoriale di Pinecone.
9. Il contesto insieme alla domanda dell’utente viene aggiunto per creare un prompt, che viene fornito come input al modello Anthropic Claude. La risposta generata viene restituita all’utente tramite la piattaforma web.

Il seguente diagramma illustra l’architettura della soluzione.

Il flusso architetturale può essere compreso in due parti:

• Caricamento dati offline su Amazon Kendra
• Flusso online per l’utente finale

Nelle sezioni seguenti, discutiamo diversi aspetti della soluzione e del suo sviluppo in modo più dettagliato.

Selezione del modello

Il processo di selezione del modello ha incluso il test regressivo di vari modelli disponibili su Amazon Bedrock, tra cui AI21 Labs, Cohere, Anthropic e modelli di base di Amazon. Abbiamo verificato i casi d’uso supportati, gli attributi del modello, il numero massimo di token, il costo, l’accuratezza, le prestazioni e le lingue supportate. Sulla base di ciò, abbiamo selezionato Claude-2 come il più adatto per questo caso d’uso.

Sorgente dati

Abbiamo creato un indice Amazon Kendra e aggiunto una sorgente dati utilizzando connettori di crawler web con un URL web padrone e una profondità di directory di due livelli. Sono stati assimilati diversi pagine web nell’indice Amazon Kendra e utilizzati come sorgente dati.

Processo di richiesta e risposta del chatbot GenAI

I passaggi di questo processo consistono in un’interazione end-to-end con una richiesta da Amazon Lex e una risposta da un grande modello di linguaggio (LLM):

1. L’utente invia la richiesta all’applicazione front-end conversazionale ospitata in un bucket di Amazon Simple Storage Service (Amazon S3) tramite Amazon Route 53 e Amazon CloudFront.
2. Amazon Lex comprende l’intento e indirizza la richiesta all’orchestratore ospitato in una funzione AWS Lambda.
3. La funzione orchestratore Lambda esegue i seguenti passaggi:
   1. La funzione interagisce con il database dell’applicazione, che è ospitato in un database gestito DynamoDB. Il database memorizza l’ID della sessione e l’ID dell’utente per la cronologia delle conversazioni.
   2. Un’altra richiesta viene inviata all’indice Amazon Kendra per ottenere i primi cinque risultati di ricerca rilevanti per costruire il contesto pertinente. Utilizzando questo contesto, viene costruito il prompt modificato richiesto dal modello LLM.
   3. La connessione viene stabilita tra Amazon Bedrock e l’orchestratore. Viene inviata una richiesta al modello Claude-2 di Amazon Bedrock per ottenere la risposta dal modello LLM selezionato.
4. I dati vengono post-elaborati dalla risposta LLM e viene inviata una risposta all’utente.

Segnalazione online

Il processo di segnalazione online è composto dai seguenti passaggi:

1. Gli utenti finali interagiscono con il chatbot tramite un layer front-end CDN CloudFront.
2. Ogni interazione di richiesta/risposta è facilitata dall’AWS SDK e invia traffico di rete ad Amazon Lex (il componente NLP del bot).
3. I metadati sulle coppie di richiesta/risposta vengono registrati in Amazon CloudWatch.
4. Il gruppo di log di CloudWatch è configurato con un filtro di sottoscrizione che invia i log a Amazon OpenSearch Service.
5. Una volta disponibili in OpenSearch Service, i log possono essere utilizzati per generare report e dashboard utilizzando Kibana.

Conclusione

In questo post, abbiamo mostrato come Accenture stia usando i servizi AI generativi di AWS per implementare un approccio end-to-end verso la trasformazione digitale. Abbiamo identificato le lacune nelle piattaforme tradizionali di domande e risposte e abbiamo integrato l’intelligenza generativa all’interno del suo framework per tempi di risposta più veloci e per migliorare continuamente il sistema mentre si interagisce con gli utenti in tutto il mondo. Contattate il team del Centro di Eccellenza di Accenture per approfondire la soluzione e implementarla per i vostri clienti.

Questa piattaforma Knowledge Assist può essere applicata a diverse industrie, tra cui, ma non solo, scienze della salute, servizi finanziari, manifatturiero, e altro ancora. Questa piattaforma fornisce risposte naturali e simili a quelle umane alle domande utilizzando una conoscenza sicura. Questa piattaforma consente efficienza, produttività e azioni più accurate che gli utenti possono intraprendere.

Lo sforzo congiunto si basa sulla relazione strategica di 15 anni tra le aziende e utilizza gli stessi meccanismi e acceleratori comprovati costruiti dal Gruppo Aziendale Accenture AWS (AABG).

Connettetevi con il team AABG all’indirizzo [email protected] per ottenere risultati commerciali trasformandovi in un’azienda dati intelligente su AWS.

Per ulteriori informazioni sull’IA generativa su AWS utilizzando Amazon Bedrock o Amazon SageMaker, vi consigliamo le seguenti risorse:

• IA generativa su AWS: Tecnologia
• Inizia con l’IA generativa su AWS utilizzando Amazon SageMaker JumpStart

Potete anche iscrivervi alla newsletter sull’IA generativa di AWS, che include risorse educative, blog e aggiornamenti sui servizi.