Sviluppare una ChatGPT specifica per l’azienda è un terzo tecnologia e due terzi miglioramenti dei processi

Sviluppare una ChatGPT personalizzata per l'azienda un mix di tecnologia avanzata e miglioramenti dei processi

Una panoramica pratica dei processi, ruoli e complessità coinvolti nello sviluppo di un assistente virtuale basato su GPT

Nel corso del 2023, abbiamo sviluppato un assistente virtuale basato su un modello GPT per i dipendenti di Enefit (una delle più grandi compagnie energetiche nei Paesi Baltici). Nel primo articolo (leggilo qui), ho fornito una panoramica del problema, del processo di sviluppo e dei risultati iniziali. In questo articolo, approfondirò l’importanza delle sfide non legate alla tecnologia nello sviluppo di un assistente virtuale.

Introduzione

All’inizio del 2023, era chiaro che si fosse verificata una svolta nella tecnologia dei grandi modelli di linguaggio. A differenza dei chatbot degli ultimi dieci anni che spesso deludevano gli utenti già alla seconda o terza domanda, ChatGPT si è rivelato preciso, versatile e veramente utile. La decisione di OpenAI e Microsoft di offrire l’accesso programmatico ai loro modelli GPT, attraverso un servizio API aperto, ha creato l’opportunità di implementare casi d’uso specifici per le aziende.

Ci siamo approcciati al progetto di assistente virtuale di Enefit sapendo che la tecnologia di base era pronta, l’interesse interno era alto e la sfida dello sviluppo software, sebbene nuova e complessa, era realizzabile con buoni specialisti.

Nelle prime fasi dello sviluppo, questa visione si è dimostrata corretta: circa l’80% delle attività del progetto consisteva in compiti di sviluppo software e il 20% riguardava attività non legate alla tecnologia. Man mano che il progetto procedeva, queste proporzioni sono cambiate drasticamente, portando alla necessità di nuovi processi e ruoli completamente nuovi.

• Ottimizzazione degli iperparametri Reti Neurali 101
• Ricercatori dell’Università di Washington e della Duke University presentano Punica un sistema di intelligenza artificiale per servire più modelli di LoRA in un cluster GPU condiviso.
• Incontra JARVIS-1 agenti multitask di Open-World con modelli di linguaggio multimodali potenziati dalla memoria

Governance dei dati/informazioni 2.0

Un assistente virtuale può fornire informazioni specifiche dell’azienda solo nella misura in cui i documenti sottostanti lo permettono. In altre parole, se i documenti di base contengono informazioni errate, mal strutturate o obsolete, l’assistente virtuale non sarà in grado di fornire risposte migliorate. Questo è comunemente definito il principio GIGO (garbage in, garbage out), il quale pone limiti fondamentali alle capacità dell’AI.

Pertanto, una parte significativa nella costruzione di un assistente virtuale riguarda la garanzia della qualità dei dati/informazioni. Questo include:

• Assegnare un responsabile a ogni documento/gruppo di informazioni che sarà responsabile dell’accuratezza delle informazioni.
• Concordare su un meccanismo di feedback che consenta agli utenti dell’assistente virtuale di segnalare risposte errate o informazioni sbagliate.
• Instaurare un processo di gestione dei feedback per garantire che i feedback degli utenti raggiungano il responsabile dell’informazione e vengano presi provvedimenti.

Essenzialmente, ciò significa che tutte le parti sono coinvolte nella gestione dei dati: gli utenti che forniscono un feedback continuo e i proprietari dei dati responsabili di rispondere a quel feedback.

I proprietari dei documenti possono anche contribuire a migliorare il modo in cui l’assistente virtuale trova le informazioni di loro competenza, arricchendo le sezioni dei documenti con parole chiave, testando l’accuratezza dell’assistente virtuale, ristrutturando il contenuto quando necessario, testando, migliorando, testando, migliorando… In sostanza, i proprietari delle informazioni dovrebbero considerare l’assistente virtuale come un collega con cui devono collaborare!

Per concludere questa sezione, parlerò del nuovo Copilot di Microsoft. Al momento, tutti gli occhi sono puntati sul lancio di Copilot. La maggior parte degli appassionati di tecnologia ha guardato i video dimostrativi e si aspetta che sia un prodotto plug-and-play che fornisce in modo semiautomatico buone risposte a domande legate all’azienda. Tuttavia, questa aspettativa probabilmente porterà a delusione, poiché anche Copilot non è immune al principio GIGO.

Oltre ai video di marketing di Copilot, troviamo una vasta documentazione sui requisiti di gestione dei documenti. In sintesi, Microsoft prevede che (leggi di più):

• Tutti i documenti obsoleti saranno eliminati.
• Tutti i documenti devono contenere informazioni accurate e rilevanti.
• Le aziende devono istituire un nuovo processo di governance dei dati per garantire quanto sopra.
• I documenti devono essere arricchiti con parole chiave per migliorare la ricerca.

Questi sono requisiti elevati, soprattutto quando si parla di documenti archiviati sui computer dei dipendenti.

Per essere chiari, ritengo che Copilot sia una nuova tecnologia fantastica. Tuttavia, è fondamentale sottolineare che nessuna tecnologia di assistente virtuale può essere implementata con successo senza un processo di governance dei dati.

Guidare l’Assistente Virtuale

I grandi modelli di linguaggio pre-allenati (ad esempio, GPT, Llama) sono macchine logiche robotiche. Ciò significa che se vogliamo che svolgano un ruolo specifico (ad esempio, assistente esecutivo, assistente contratti, esperto legale), dobbiamo guidarli e fornire esempi di stile.

Direzionare l’assistente virtuale significa fornire al modello di linguaggio sia la domanda dell’utente che una guida di risposta. Ad esempio, “Sei un assistente virtuale di Enefit che conosce le politiche e le regole dell’azienda. Se non riesci a trovare la risposta nelle informazioni disponibili, di’ che non lo sai…”

Con questo tipo di guida, possiamo istruire l’assistente virtuale su come comportarsi, dettare il formato da usare per rispondere e evidenziare ciò che deve evitare.

Tuttavia, una guida generale spesso non è sufficiente. Ad esempio, un’azienda potrebbe volere che l’assistente virtuale segua uno stile specifico (formale, amichevole, ecc.). In questi casi, possono essere forniti esempi di stile, che sono essenzialmente coppie domanda-risposta. Poiché i modelli di linguaggio sono addestrati per continuare il testo esistente, l’assistente virtuale cerca di rispondere alle domande degli utenti in modo simile agli esempi di stile forniti.

La creazione di guide di risposta ed esempi di stile, la sperimentazione di versioni diverse e il loro perfezionamento costituiscono la terza parte significativa dello sviluppo dell’assistente virtuale.

Il ruolo di “formatore/guida dell’assistente virtuale” è completamente nuovo e può essere svolto efficacemente solo da qualcuno che ha competenze nel settore per il quale viene creato l’assistente virtuale. Lo sviluppo efficace dell’assistente virtuale richiede una stretta collaborazione tra sviluppatori di software, proprietari delle informazioni e il formatore dell’assistente virtuale, poiché la causa di ogni “risposta scarsa” potrebbe dipendere da diversi specialisti.

Conclusione

Sviluppare un chatbot che funzioni con un’efficienza dell’80% è facile con le tecnologie attuali, ma creare un assistente virtuale con una qualità del 95% è un compito complesso.

Ad occhio, si potrebbe pensare che l’80% sia sufficiente, quindi perché prendersi così tanto disturbo per gli ultimi punti percentuali? In realtà, basandoci sull’esperienza del decennio passato con i chatbot, sappiamo che un chatbot preciso all’80% delle volte non supera la “soglia di utilità cognitiva” degli utenti.

Questa soglia di utilità cognitiva è un punto di riferimento nascosto che esiste nella nostra mente, ma non possiamo definire precisamente dove si trovi questo limite. Tuttavia, utilizzando la tecnologia, capiamo rapidamente se questo limite è stato superato o meno. Se la qualità della tecnologia scende al di sotto di questa soglia, abbandoneremo completamente l’uso della tecnologia in questione.

In altre parole, la differenza tra l’80% e il 95% sta nel fatto che nel primo caso nessuno inizierà a utilizzare questa tecnologia, mentre nel secondo caso diventa un assistente quotidiano per molti dipendenti.

La differenza tra un’accuratezza dell’80% e del 95% sta nel fatto che nel primo caso nessuno inizierà a utilizzare questa tecnologia, mentre nel secondo caso diventa un assistente quotidiano per molti dipendenti!

Per raggiungere gli ultimi 15-20%, è necessario implementare un sistema di gestione dei dati che assicuri la pertinenza delle informazioni fondamentali, creare nuovi ruoli e processi legati allo sviluppo dell’assistente virtuale, formare tutte le parti coinvolte sulla nuova tecnologia e supportare l’implementazione e l’adozione sia a livello strategico che operativo. Pertanto, la tecnologia costituisce solo 1/3 dello sviluppo dell’assistente virtuale, mentre le sfide organizzative e legate ai processi rappresentano il resto.