Feedback degli utenti il tassello mancante dello stack di monitoraggio dell’IA
Feedback utenti tassello mancante stack monitoraggio IA
Una guida completa alla creazione di AI centrata sugli utenti
La discordanza tra modelli di AI e utenti
Hai mai passato mesi, e chissà quanto denaro, per implementare un modello di AI, per poi scoprire che nessuno lo utilizza? Anche se riesci a superare le sfide dell’adozione, come puoi sapere se gli output del modello stanno veramente aggiungendo valore alle decisioni, alle domande, alle attività professionali o quotidiane dell’utente?
Le metriche di performance del machine learning e gli strumenti di monitoraggio in tempo reale sono un ottimo modo per calcolare la performance di un modello e identificare quando le cose possono andare storte dal punto di vista tecnico. Ma senza capire l’interesse o la soddisfazione dell’utente, è difficile sapere se il modello viene utilizzato per lo scopo previsto.
Inoltre, ascoltare gli utenti dei modelli di AI può rivelare casi particolari predetti in modo errato, algoritmi di spiegazione che non spiegano le cose in modo chiaro come sperato o difetti nell’esperienza utente che influiscono sull’interazione degli utenti con un modello.
Il resto di questo articolo tratterà l’importanza della comprensione del feedback degli utenti sui modelli di AI, i diversi tipi di feedback degli utenti e come raccogliere il feedback degli utenti per migliorare la performance del modello, aumentare l’adozione da parte degli utenti e, in definitiva, allineare i modelli di AI agli utenti.
- L’Arrivo di SDXL 1.0
- Governo giapponese adatta la tecnologia ChatGPT per compiti amministrativi
- La Scienza delle Decisioni sta silenziosamente diventando la nuova Scienza dei Dati?
Contenuti
- La discordanza tra modelli di AI e utenti
- Cos’è il feedback degli utenti per l’AI?
- Perché è importante il feedback degli utenti per l’AI?
- Quali sono i diversi tipi di feedback?
- Una guida alla raccolta del feedback degli utenti
- Conclusioni
Cos’è il feedback degli utenti per l’AI?
Quando ci riferiamo al feedback degli utenti, l’utente in questione dipende dal caso d’uso che stai implementando. Ad esempio, potrebbe essere un utente aziendale interno o un interessato di un’applicazione di previsione della domanda basata su ML interna; potrebbe essere un esperto di dominio esterno, come un oncologo medico, che utilizza un prodotto MedTech per il rilevamento di tumori nelle scansioni mediche; oppure potrebbe essere l’utente finale di un assistente per la compilazione di curriculum rivolto all’esterno, che utilizza l’AI generativa per aiutare a scrivere e perfezionare i curriculum.
I concetti, i metodi e i benefici descritti in questo articolo si applicano a tutti questi diversi casi d’uso. Tuttavia, alcuni benefici possono essere più o meno applicabili a seconda del caso d’uso stesso e devono essere presi in considerazione caso per caso.
A scopo illustrativo in questo articolo, utilizzeremo l’assistente per la compilazione di curriculum descritto sopra per illustrare i benefici del feedback degli utenti per questa applicazione.
Un secondo punto importante, quando si fa riferimento al feedback degli utenti, è che non ci riferiamo solo al rietichettamento delle previsioni errate o a un ciclo di feedback per il riallenamento automatico del modello. Il feedback degli utenti include tutte le informazioni fornite dagli utenti, che forniscono una comprensione dell’utilità e dell’adozione dell’applicazione di AI. Nel nostro esempio di assistente per la compilazione di curriculum, il feedback degli utenti potrebbe includere valutazioni di soddisfazione degli utenti, fornendo informazioni su quanto gli utenti siano soddisfatti dei curriculum generati, o commenti scritti per evidenziare eventuali problemi specifici.
Questo tipo di feedback non deve sempre essere inserito direttamente in un flusso di riallenamento automatico del modello per diverse ragioni:
- Il feedback degli utenti di solito è non strutturato e evidenzia problemi al di fuori delle previsioni errate, quindi non può sempre essere utilizzato per riallenare direttamente un modello. Ad esempio, un utente che evidenzia che l’assistente per la compilazione di curriculum utilizza un linguaggio troppo formale potrebbe richiedere più esempi di testo meno formale nei dati di addestramento, anziché un riallenamento diretto con questo feedback.
- Concentrarsi solo sulle previsioni corrette/errate trascura informazioni preziose fornite dagli utenti. La comprensione del feedback degli utenti consente ai team di AI di migliorare l’applicazione sulla base delle esperienze utente e dei modelli di utilizzo.
- Strategie di addestramento come il reinforcement learning con feedback umano (RLHF) funzionano molto bene in un ambiente controllato. Tuttavia, il feedback degli utenti del mondo reale può essere rumoroso e potenzialmente dannoso. Ad esempio, incorporare alla cieca il feedback degli utenti nei dati di addestramento può portare all’avvelenamento dei dati, in cui gli utenti malintenzionati indirizzano il modello in modo intenzionale.
Pertanto, i team di AI dovrebbero esaminare il feedback degli utenti per estrarre le diverse informazioni e determinare la prossima migliore azione da intraprendere per migliorare l’intera applicazione di AI.
Perché è importante il feedback degli utenti per l’AI?
Permettere la valutazione del modello
Molti modelli di AI mancano di una verità fondamentale. Questo rende difficile la valutazione su un dataset di test, in quanto di solito si basa su una metrica proxy che spesso racconta solo una parte della storia. Questo è particolarmente vero per i modelli generativi, dove capire se gli utenti sono soddisfatti delle previsioni del modello è di solito la metrica più importante.
Migliorare le prestazioni del modello:
Il feedback degli utenti può essere utilizzato per migliorare continuamente le prestazioni dei modelli di intelligenza artificiale. Gli utenti possono avere una buona conoscenza del dominio necessaria per costruire un modello robusto. Inoltre, monitorando l’interazione degli utenti è possibile identificare se un modello ha una scarsa performance a causa di un set di addestramento/test che non rappresenta adeguatamente la realtà.
Aumentare l’allineamento degli utenti:
Il feedback degli utenti fornisce informazioni su quali aspetti del modello funzionano bene e quali causano attrito. Ciò consente al team di intelligenza artificiale di migliorare l’esperienza dell’utente, rendendo il modello più intuitivo e user-friendly. Inoltre, i team di intelligenza artificiale possono garantire che i modelli siano allineati a tutti gli utenti, non solo a sottogruppi più piccoli. Ad esempio, assicurarsi che l’assistente per la compilazione del curriculum mantenga la qualità in tutte le lingue, non solo l’inglese.
Quando gli utenti sentono che le loro opinioni vengono ascoltate, è più probabile che si fidino del modello di intelligenza artificiale e rimangano coinvolti, il che porta a un maggiore allineamento e adozione degli utenti.
Aumentare la responsabilità dell’intelligenza artificiale:
Attraverso il feedback degli utenti, i team di intelligenza artificiale possono identificare e affrontare preoccupazioni legate alla sicurezza, al bias o ad altre considerazioni etiche. Questo approccio proattivo porta allo sviluppo di modelli di intelligenza artificiale più sicuri e responsabili. Ricercando e rispondendo al feedback degli utenti, i team di intelligenza artificiale dimostrano la loro responsabilità e impegno nella creazione di soluzioni di intelligenza artificiale di alta qualità e affidabili. Il feedback può anche rivelare la necessità di risorse educative aggiuntive e documentazione, che i team di intelligenza artificiale possono fornire per garantire che gli utenti abbiano una chiara comprensione delle capacità del modello e promuovere le migliori pratiche.
In sintesi, sfruttare le informazioni degli utenti consente ai team di intelligenza artificiale di perfezionare i modelli, ottimizzare l’esperienza utente e affrontare le preoccupazioni etiche, portando a una maggiore soddisfazione e fiducia degli utenti.
Ora che abbiamo chiarito cos’è il feedback degli utenti e i suoi benefici, copriamo i diversi tipi di feedback e a cosa servono.
Quali sono i diversi tipi di feedback?
Ci sono due principali categorie di feedback degli utenti, esplicito e implicito. Questo può essere spiegato e illustrato bene dal nostro nuovo migliore amico, ChatGPT (nella figura sottostante).
Il feedback esplicito degli utenti si riferisce all’input diretto, intenzionale e consapevolmente fornito dagli utenti riguardo le loro esperienze, opinioni o preferenze. Come avrete visto nell’interfaccia di ChatGPT, il feedback con pollice verso l’alto/verso il basso è un esempio di feedback esplicito.
Il feedback esplicito può essere ulteriormente suddiviso in feedback quantitativo e qualitativo. Il feedback quantitativo include scale misurabili, come pollice verso l’alto/verso il basso, soddisfazione dell’utente (noto anche come scala Likert a 5 punti) o qualsiasi scala personalizzata che si adatta meglio a ciò che si cerca di capire dagli utenti.
Il feedback qualitativo di solito prevede un campo di testo aperto per consentire agli utenti di fornire feedback scritti. Combinare una misura quantitativa con un feedback qualitativo consente al team di intelligenza artificiale di capire il “perché” dietro il commento dell’utente e scoprire dettagli come bug dell’intelligenza artificiale, conoscenza del dominio o preferenze dell’utente.
Il feedback implicito degli utenti si riferisce a dati forniti in modo indiretto, involontario e inconscio basati sui comportamenti, azioni o pattern degli utenti. Guardando di nuovo l’interfaccia di ChatGPT, il pulsante “copia negli appunti” è un esempio di come OpenAI raccoglie feedback implicito. Ad esempio, per l’assistente per la compilazione del curriculum, il feedback implicito dell’utente potrebbe essere ottenuto tracciando le modifiche apportate dall’utente all’output generato.
È necessario prendere in considerazione quale tipo di feedback implementare. Il feedback esplicito fornisce una comprensione molto più chiara del feedback e delle opinioni dell’utente. Tuttavia, per casi d’uso esterni, gli utenti finali potrebbero non fornire sempre un feedback esplicito, in quanto potrebbero non capire come ne beneficeranno (o sentire di non avere tempo!). In questo caso, il feedback implicito può anche fornire una buona comprensione di come viene utilizzata l’applicazione di intelligenza artificiale, senza dover fare affidamento sull’utente per intraprendere un’azione diretta.
In base all’applicazione e alle sfide attuali, è necessario valutare anche quali misure si desidera implementare. Ad esempio, se si punta a migliorare le prestazioni del modello, una misura con pollice verso l’alto/verso il basso con un commento può aiutare a identificare eventuali problemi del modello. Ma se l’obiettivo è aumentare l’adozione, allora forse sarebbe meglio utilizzare un punteggio di soddisfazione dell’utente.
Guida alla raccolta dei feedback degli utenti
In questa sezione, illustreremo quattro passaggi chiave per la raccolta dei feedback degli utenti e l’integrazione delle informazioni degli utenti nel sistema di monitoraggio dell’IA (come mostrato di seguito).
Passaggio 1: Progettare e creare componenti di feedback all’interno della tua app di intelligenza artificiale
Dopo aver definito i tuoi obiettivi per la raccolta dei feedback degli utenti, puoi determinare quale tipo di feedback si adatta meglio alle tue esigenze. Di solito, il feedback degli utenti viene implementato dopo che è stato generato un output del modello. Tuttavia, potresti desiderare di raccogliere feedback in tutto l’applicazione per ottenere informazioni su determinate funzionalità dell’applicazione.
I metadati del modello di intelligenza artificiale devono essere acquisiti insieme a tutti i feedback inviati attraverso il componente. Questo include informazioni come la versione del modello, le richieste o le istruzioni, gli output del modello e i dati demografici degli utenti (come l’ID utente e la posizione).
Passaggio 2: Sviluppare capacità di analisi per comprendere i feedback degli utenti
Per i feedback quantitativi, ciò potrebbe includere grafici come la soddisfazione degli utenti (CSAT/NPS) o la risposta media positiva/negativa nel tempo, con la possibilità di confrontare tali metriche per diverse versioni del modello, utenti o altri metadati.
Per i feedback qualitativi, utilizza l’intelligenza artificiale per analizzare il sentiment nelle opinioni degli utenti e classificare i feedback in diverse categorie. Ciò consente di monitorare le diverse metriche di sentiment/soddisfazione per le diverse categorie di commenti.
Passaggio 3: Identificare problemi di intelligenza artificiale
Utilizzando le capacità di analisi, è possibile identificare argomenti e temi ricorrenti nei feedback per categorizzare le aree di miglioramento. I problemi di intelligenza artificiale possono quindi essere sollevati e prioritizzati per essere risolti dal team di intelligenza artificiale.
Il ruolo del team di intelligenza artificiale in questa fase è identificare problemi del modello e problemi degli utenti, nonché determinare la migliore azione da intraprendere per risolverli.
Per un promemoria sui tipi di informazioni che il team di intelligenza artificiale potrebbe trovare nei feedback degli utenti, torna alla sezione “Che cosa sono i feedback degli utenti per l’IA?”
Passaggio 4: Integrare i feedback degli utenti nel tuo sistema di monitoraggio dell’IA
L’integrazione dei feedback degli utenti nel tuo attuale sistema di monitoraggio dell’IA ti consentirà di impostare avvisi (simili al monitoraggio delle prestazioni o al rilevamento dei cambiamenti). Ad esempio, se il punteggio di soddisfazione globale degli utenti scende al di sotto di una determinata soglia, è possibile attivare un avviso per notificare al team di intelligenza artificiale di intervenire.
Inoltre, è possibile inviare riepiloghi e rapporti giornalieri al team di intelligenza artificiale o agli stakeholder, fornendo una panoramica dei feedback degli utenti.
Conclusioni
In sintesi, i feedback degli utenti consentono ai team di intelligenza artificiale di individuare bug, ottimizzare i modelli e allinearli agli utenti.
Questo può essere raggiunto anche con i sistemi di monitoraggio dell’IA. Tuttavia, valutando il modello da una prospettiva diversa, ovvero da quella dell’utente, possiamo individuare informazioni aggiuntive che sarebbero sfuggite ai tradizionali sistemi di monitoraggio dell’IA.
Spero che questo articolo abbia suscitato il tuo interesse e ti abbia fornito idee iniziali su come puoi iniziare ad ascoltare i tuoi utenti e migliorare le tue applicazioni di intelligenza artificiale.
Se desideri saperne di più sui feedback degli utenti per l’IA o condividere e discutere le tue idee su questo argomento, non esitare a contattarmi su Linkedin o via email.
