Come Thomson Reuters ha sviluppato Open Arena, un’area di gioco di modelli di lingua di grandi dimensioni di alto livello, in meno di 6 settimane

Thomson Reuters developed Open Arena, a high-level large-scale language model playground, in less than 6 weeks.

Questo post è stato scritto a quattro mani da Shirsha Ray Chaudhuri, Harpreet Singh Baath, Rashmi B Pawar e Palvika Bansal di Thomson Reuters.

Thomson Reuters (TR), un’azienda globale di contenuti e tecnologia, utilizza l’intelligenza artificiale (AI) e il machine learning (ML) nei suoi prodotti di informazione professionale da decenni. Thomson Reuters Labs, il team dedicato all’innovazione dell’azienda, è stato fondamentale per il lavoro pionieristico in AI e elaborazione del linguaggio naturale (NLP). Un traguardo importante è stato il lancio di Westlaw Is Natural (WIN) nel 1992. Questa tecnologia è stata una delle prime del suo genere, utilizzando il NLP per una ricerca legale più efficiente e naturale. Proiettandoci al 2023, Thomson Reuters continua a definire il futuro dei professionisti attraverso un’innovazione rapida, soluzioni creative e tecnologia potente.

L’introduzione dell’AI generativa offre un’altra opportunità per Thomson Reuters di lavorare con i clienti e avanzare ancora una volta nel modo in cui svolgono il loro lavoro, aiutando i professionisti a trarre spunti e automatizzare i flussi di lavoro, consentendo loro di concentrarsi sulle attività più importanti. Mentre Thomson Reuters spinge i limiti di ciò che l’AI generativa e altre tecnologie potrebbero fare per i professionisti moderni, come sta utilizzando il potere di questa tecnologia per i propri team?

Thomson Reuters è fortemente concentrata nel sensibilizzare e far comprendere l’AI tra i colleghi di ogni team e area aziendale. Partendo dai principi fondamentali di cosa sia l’AI e come funzioni il ML, sta offrendo un programma di sensibilizzazione sull’AI a livello aziendale, che comprende webinar, materiali di formazione e discussioni in panel. Durante queste sessioni, sono emerse idee su come poter utilizzare l’AI, con i colleghi che hanno considerato come utilizzare strumenti che li aiutassero a svolgere le loro attività quotidiane e a servire i clienti.

In questo post, discutiamo di come Thomson Reuters Labs abbia creato Open Arena, il playground su larga scala di Thomson Reuters per i modelli linguistici (LLM), sviluppato in collaborazione con AWS. Il concetto originale è nato durante un AI/ML Hackathon supportato da Simone Zucchet (AWS Solutions Architect) e Tim Precious (AWS Account Manager) ed è stato sviluppato in produzione utilizzando i servizi AWS in meno di 6 settimane con il supporto di AWS. Servizi gestiti da AWS come AWS Lambda, Amazon DynamoDB e Amazon SageMaker, così come i pre-built Hugging Face Deep Learning Containers (DLC), hanno contribuito alla velocità di innovazione. Open Arena ha aiutato a sbloccare la sperimentazione aziendale su larga scala con l’AI generativa in un ambiente sicuro e controllato.

Approfondendo, Open Arena è un playground basato sul web che consente agli utenti di sperimentare con un crescente set di strumenti abilitati con LLM. Ciò fornisce un accesso non programmabile per i dipendenti di Thomson Reuters che non hanno una formazione in programmazione ma desiderano esplorare l’arte del possibile con l’AI generativa presso TR. Open Arena è stato sviluppato per ottenere risposte rapide da diversi set di corpora, ad esempio per agenti di supporto clienti, soluzioni per ottenere risposte rapide da siti web, soluzioni per riassumere e verificare punti in un documento e molto altro. Le capacità di Open Arena continuano a crescere grazie alle esperienze dei dipendenti di Thomson Reuters che stimolano nuove idee e all’emergere di nuove tendenze nel campo dell’AI generativa. Tutto ciò è facilitato dall’architettura modulare e serverless di AWS che supporta la soluzione.

Progettare l’Open Arena

L’obiettivo di Thomson Reuters era chiaro: creare una piattaforma sicura, protetta e user-friendly – un “open arena” – come playground aziendale. Qui, i team interni non solo avrebbero potuto esplorare e testare i vari LLM sviluppati internamente e quelli della comunità open source, come la partnership tra AWS e Hugging Face, ma avrebbero anche potuto scoprire casi d’uso unici combinando le capacità dei LLM con i vasti dati aziendali di Thomson Reuters. Questo tipo di piattaforma avrebbe potenziato la capacità dei team di generare soluzioni innovative, migliorando i prodotti e i servizi che Thomson Reuters potrebbe offrire ai propri clienti.

L’Open Arena immaginata avrebbe servito i diversi team di Thomson Reuters a livello globale, fornendo loro un’area di gioco per interagire liberamente con i LLM. La possibilità di avere questa interazione in un ambiente controllato avrebbe permesso ai team di scoprire nuove applicazioni e metodologie che potrebbero non essere state evidenti in un coinvolgimento meno diretto con questi modelli complessi.

Costruire l’Open Arena

Costruire l’Open Arena è stato un processo complesso. Abbiamo cercato di sfruttare le capacità dei servizi serverless e di ML di AWS per creare una soluzione che consentisse ai dipendenti di Thomson Reuters di sperimentare con gli ultimi LLM in modo semplice. Abbiamo visto il potenziale di questi servizi non solo per garantire scalabilità e gestibilità, ma anche per garantire un’efficacia dei costi.

Panoramica della soluzione

Dalla creazione di un ambiente robusto per il rilascio e il fine-tuning del modello, alla gestione meticolosa dei dati e all’offerta di un’esperienza utente senza soluzione di continuità, TR ha avuto bisogno che ogni aspetto si integrasse con diversi servizi AWS. L’architettura di Open Arena è stata progettata per essere completa ma intuitiva, bilanciando la complessità con la facilità d’uso. Il diagramma seguente illustra questa architettura.

SageMaker ha svolto il ruolo di spina dorsale, facilitando il rilascio del modello come endpoint di SageMaker e fornendo un ambiente robusto per il fine-tuning dei modelli. Abbiamo sfruttato il DLC di Hugging Face su SageMaker offerto da AWS per migliorare il nostro processo di rilascio. Inoltre, abbiamo utilizzato il toolkit di inferenza di Hugging Face su SageMaker e la libreria Accelerate per accelerare il processo di inferenza e gestire efficacemente le esigenze di esecuzione di modelli complessi e intensivi in termini di risorse. Questi strumenti completi sono stati fondamentali per garantire un rilascio rapido e senza problemi dei nostri LLM. Le funzioni Lambda, attivate da Amazon API Gateway, hanno gestito le API, garantendo una meticolosa pre-elaborazione e post-elaborazione dei dati.

Nella nostra ricerca di offrire un’esperienza utente senza soluzione di continuità, abbiamo adottato un API Gateway sicuro per collegare il front-end ospitato in Amazon Simple Storage Service (Amazon S3) al back-end Lambda. Abbiamo distribuito il front-end come un sito statico su un bucket S3, garantendo l’autenticazione dell’utente con l’aiuto di Amazon CloudFront e del meccanismo di accesso singolo dell’azienda.

Open Arena è stato progettato per integrarsi senza soluzione di continuità con diversi LLM tramite API REST. Ciò ha garantito che la piattaforma fosse sufficientemente flessibile da reagire e integrarsi rapidamente con i nuovi modelli all’avanguardia sviluppati e rilasciati nello spazio dell’IA generativa ad alta velocità. Fin dalla sua creazione, Open Arena è stato progettato per fornire un ambiente di gioco AI/ML aziendale sicuro e protetto, in modo che i dipendenti di Thomson Reuters possano sperimentare con qualsiasi LLM all’avanguardia appena vengono rilasciati. Utilizzando i modelli di Hugging Face su SageMaker, il team è stato in grado di eseguire il fine-tuning dei modelli in un ambiente sicuro perché tutti i dati sono crittografati e non lasciano la virtual private cloud (VPC), garantendo che i dati rimangano privati e riservati.

DynamoDB, il nostro servizio di database NoSQL scelto, ha archiviato ed gestito in modo efficiente una vasta gamma di dati, inclusi le query degli utenti, le risposte, i tempi di risposta e i dati degli utenti. Per semplificare il processo di sviluppo e distribuzione, abbiamo utilizzato AWS CodeBuild e AWS CodePipeline per l’integrazione continua e la distribuzione continua (CI/CD). Il monitoraggio dell’infrastruttura e il garantire il suo funzionamento ottimale sono stati resi possibili grazie ad Amazon CloudWatch, che ha fornito dashboard personalizzate e capacità di registrazione complete.

Sviluppo e integrazione del modello

Il cuore di Open Arena è la sua vasta gamma di LLM, che comprendono modelli open-source e sviluppati internamente. Questi modelli sono stati sottoposti a fine-tuning per fornire risposte in base a specifiche richieste degli utenti.

Abbiamo sperimentato con diversi LLM per diversi casi d’uso in Open Arena, tra cui Flan-T5-XL, Open Assistant, MPT, Falcon e Flan-T5-XL sottoposto a fine-tuning su set di dati open-source disponibili utilizzando la tecnica di fine-tuning efficiente dei parametri. Abbiamo utilizzato l’integrazione di bitsandbytes di Hugging Face per sperimentare con varie tecniche di quantizzazione. Ciò ci ha permesso di ottimizzare i nostri LLM per prestazioni ed efficienza migliorate, aprendo la strada a un’ulteriore innovazione. Nella selezione di un modello come backend per questi casi d’uso, abbiamo considerato diversi aspetti, come ad esempio:

  • Aumento dell’efficienza nella creazione di applicazioni con LLM – Integrazione e distribuzione rapida di LLM all’avanguardia nelle nostre applicazioni e carichi di lavoro che girano su AWS, utilizzando controlli familiari e integrazioni con la profondità e l’ampiezza di AWS
  • Personalizzazione sicura – Garantire che tutti i dati utilizzati per il fine-tuning dei LLM rimangano crittografati e non lascino la VPC
  • Flessibilità – La possibilità di scegliere tra una vasta selezione di LLM nativi di AWS e open-source per trovare il modello giusto per i nostri vari casi d’uso

Ci siamo posti domande come se il costo più elevato dei modelli più grandi fosse giustificato da significativi miglioramenti delle prestazioni. Questi modelli possono gestire documenti lunghi?

Il diagramma seguente illustra l’architettura del nostro modello.

Abbiamo valutato questi modelli sugli aspetti precedenti su set di dati legali open-source e set di dati interni di Thomson Reuters per valutarli per casi d’uso specifici.

Per casi d’uso basati sui contenuti (esperienze che richiedono risposte da un corpus specifico), abbiamo implementato una pipeline di generazione con recupero (RAG), che recupera i contenuti più rilevanti in base alla query. In tali pipeline, i documenti vengono suddivisi in frammenti e quindi vengono creati e archiviati gli embedding in OpenSearch. Per ottenere i documenti o i frammenti migliori corrispondenti, utilizziamo l’approccio di recupero/re-ranker basato su modelli bi-encoder e cross-encoder. Il miglior corrispondente recuperato viene quindi passato come input al LLM insieme alla query per generare la migliore risposta.

L’integrazione dei contenuti interni di Thomson Reuters con l’esperienza LLM è stata fondamentale per consentire agli utenti di estrarre risultati più pertinenti e illuminanti da questi modelli. Ancora più importante, ha suscitato idee tra tutti i team sulle possibilità di adottare soluzioni abilitate dall’IA nei loro flussi di lavoro aziendali.

Piastrelle Open Arena: agevolare l’interazione dell’utente

Open Arena adotta un’interfaccia user-friendly, progettata con piastrelle abilitanti preimpostate per ogni esperienza, come mostrato nella seguente schermata. Queste piastrelle fungono da interazioni preimpostate che soddisfano le specifiche esigenze degli utenti.

Ad esempio, la piastrella Sperimenta con LLM open source apre un canale di interazione simile a una chat con gli LLM open source.

La piastrella Chiedi al tuo documento consente agli utenti di caricare documenti e fare domande specifiche relative ai contenuti degli LLM. La piastrella Sperimenta con la sintesi consente agli utenti di riassumere grandi volumi di testo in sintesi concise, come mostrato nella seguente schermata.

Queste piastrelle semplificano il consumo da parte dell’utente di soluzioni di lavoro abilitate dall’IA e il processo di navigazione all’interno della piattaforma, stimolando la creatività e favorendo la scoperta di casi d’uso innovativi.

L’impatto dell’Open Arena

Il lancio dell’Open Arena segnò una tappa significativa nel percorso di Thomson Reuters verso la promozione di una cultura di innovazione e collaborazione. Il successo della piattaforma era innegabile, con i suoi benefici che divenivano rapidamente evidenti in tutta l’azienda.

Il design intuitivo basato su chat dell’Open Arena non richiedeva conoscenze tecniche significative, rendendolo accessibile a diversi team e ruoli lavorativi in tutto il mondo. Questa facilità d’uso ha aumentato i livelli di coinvolgimento, incoraggiando più utenti a esplorare la piattaforma e svelando casi d’uso innovativi.

In meno di un mese, l’Open Arena ha soddisfatto oltre 1.000 utenti interni mensili della presenza globale di TR, con una media di tempo di interazione di 5 minuti per utente. Con l’obiettivo di favorire la sperimentazione interna degli LLM di TR e la creazione collettiva dei casi d’uso degli LLM, il lancio dell’Open Arena ha portato a un afflusso di nuovi casi d’uso, sfruttando efficacemente il potere degli LLM combinato con le vaste risorse di dati di Thomson Reuters.

Ecco cosa hanno detto alcuni dei nostri utenti sull’Open Arena:

“Open Arena offre ai dipendenti di tutte le parti dell’azienda la possibilità di sperimentare con gli LLM in modo pratico e diretto. Una cosa è leggere degli strumenti di intelligenza artificiale, un’altra è utilizzarli personalmente. Questa piattaforma dà una spinta alle nostre iniziative di apprendimento sull’IA in Thomson Reuters.”

– Abby Pinto, Responsabile delle Soluzioni di Sviluppo del Talento, Funzione delle Persone

“OA (Open Arena) mi ha permesso di sperimentare con problemi difficili di traduzione delle notizie per il Servizio Lingua Tedesca di Reuters che il software di traduzione convenzionale non può gestire, e di farlo in un ambiente sicuro in cui posso utilizzare le nostre storie reali senza temere fughe di dati. Il team dietro OA è stato incredibilmente reattivo alle proposte di nuove funzionalità, il che è il tipo di servizio di cui si può solo sognare con altri software.”

– Scot W. Stevenson, Corrispondente Senior per le Notizie di Ultima Ora per il Servizio Lingua Tedesca, Berlino, Germania

“Quando ho usato l’Open Arena, ho avuto l’idea di creare un’interfaccia simile per i nostri team di agenti di supporto clienti. Questo ambiente di gioco ci ha aiutato a immaginare le possibilità con GenAI.”

– Marcel Batista, Gerente de Servicos, Operations Customer Service & Support

“Open Arena, supportato da servizi serverless AWS, Amazon SageMaker e Hugging Face, ci ha aiutato a esporre rapidamente LLM all’avanguardia e strumenti di IA generativi ai nostri colleghi, contribuendo a stimolare l’innovazione in tutta l’azienda.”

– Shirsha Ray Chaudhuri, Direttore, Research Engineering, Thomson Reuters Labs

Su una scala più ampia, l’introduzione dell’Open Arena ha avuto un impatto profondo sull’azienda. Non solo ha aumentato la consapevolezza dell’IA tra i dipendenti, ma ha anche stimolato uno spirito di innovazione e collaborazione. La piattaforma ha riunito i team per esplorare, sperimentare e generare idee, favorendo un ambiente in cui concetti innovativi potevano essere trasformati in realtà.

Inoltre, l’Open Arena ha avuto un’influenza positiva sui servizi e prodotti di IA di Thomson Reuters. La piattaforma ha funzionato come un sandbox per l’IA, consentendo ai team di identificare e perfezionare le applicazioni di IA prima di incorporarle nelle nostre offerte. Di conseguenza, ciò ha accelerato lo sviluppo e il miglioramento dei servizi di IA di Thomson Reuters, fornendo ai clienti soluzioni in continua evoluzione e all’avanguardia nel progresso tecnologico.

Conclusioni

Nel mondo frenetico dell’IA, è fondamentale continuare a progredire e Thomson Reuters si impegna a farlo. Il team dietro l’Open Arena sta lavorando costantemente per aggiungere nuove funzionalità e potenziare le capacità della piattaforma, utilizzando servizi AWS come Amazon Bedrock e Amazon SageMaker Jumpstart, garantendo che rimanga una risorsa preziosa per i nostri team. Mentre andiamo avanti, puntiamo a stare al passo con il panorama in continua evoluzione dell’IA generativa e degli LLM. AWS fornisce i servizi necessari a TR per tenere il passo con il campo dell’IA generativa in costante evoluzione.

Oltre allo sviluppo in corso della piattaforma Open Arena, stiamo lavorando attivamente alla produzione dei numerosi casi d’uso generati dalla piattaforma. Ciò ci permetterà di fornire ai nostri clienti soluzioni di IA ancora più avanzate ed efficienti, adattate alle loro specifiche esigenze. Inoltre, continueremo a favorire una cultura di innovazione e collaborazione, consentendo ai nostri team di esplorare nuove idee e applicazioni per la tecnologia dell’IA.

Mentre intraprendiamo questo entusiasmante percorso, siamo fiduciosi che l’Open Arena giocherà un ruolo fondamentale nel promuovere l’innovazione e la collaborazione in Thomson Reuters. Restando all’avanguardia dei progressi dell’IA, garantiremo che i nostri prodotti e servizi continuino a evolversi e soddisfino le mutevoli esigenze dei nostri clienti.