LLM-Powered Product Discovery Un Salto Oltre la Ricerca Ibrida

In questa era in rapida evoluzione della tecnologia all’avanguardia, il mondo è immerso nell’onda della LLM, che genera nuove idee che rivoluzionano la nostra vita quotidiana. Mentre Internet pullula di una moltitudine di soluzioni e possibilità di nicchia, ci troviamo sulla soglia di un paesaggio digitale trasformativo.

Questa serie di blog si immerge nell’esplorazione della scoperta del prodotto/contenuto, cercando non solo di offrire prospettive preziose, ma anche di far luce sulle limitazioni pratiche all’interno di questo ambito. Come sottolineato durante tutta la serie, il contesto gioca un ruolo fondamentale in questo dominio, e abbiamo approfondito l’efficacia e la meccanica dei sistemi di ricerca semantica e di ricerca ibrida.

Il contesto è il Re – L’arte e la scienza della scoperta del contenuto

– Esplorando il potere dei transformers, GPT e dei motori di ricerca ibridi per rivoluzionare la scoperta dei contenuti

VoAGI.com

Ricerca ibrida – Amalgama di rappresentazioni vettoriali sparse e dense per contenuti attivi…

– Unire il significato dei dati con i metadati per sfruttare un contesto più profondo

VoAGI.com

Inoltre, la serie ha toccato brevemente la ridefinizione della scoperta dei contenuti e della ricerca di prodotti attraverso le potenti capacità della LLM (apprendimento basato su modelli linguistici). In questo particolare post, il nostro focus sarà sulla scoperta alimentata da LLM, mirando specificamente alla ricerca attiva/scoperta esplicita per colmare il divario tra i paradigmi di ricerca ibrida e di ricerca LLM.

Ormai dovrebbe essere evidente che il vero valore della LLM risiede nella sua notevole capacità di generalizzazione e nella sua capacità di applicare conoscenze in un contesto mondiale più ampio, avvicinandoci a risultati impressionanti attraverso interazioni più naturali. Il contesto continua ad essere un fattore significativo nel processo di scoperta, che comprende non solo il micro-contesto semantico profondo del contenuto, ma anche l’aspetto vitale dello sviluppo di una consapevolezza del contesto utente in evoluzione nel tempo.

Dal contenuto alla scoperta della conoscenza e dai filtri di ricerca al linguaggio naturale – Liberando il…

Se hai seguito la mia serie di blog a partire da “Il contesto è il Re!” fino a “Dai keywords a…

VoAGI.com

Man mano che approfondisco l’argomento, scopro diversi contributi cruciali della LLM nel campo della scoperta, in particolare nel contesto della ricerca attiva:

Scoperta dei contenuti basata sulla conoscenza utilizzando la LLM – Le LLM con il flusso di lavoro RAG (Recupero con Generazione potenziato) possiedono la capacità di sfruttare efficientemente la ricca conoscenza sottostante presente nel repository dei documenti. Attraverso questo, si possono mettere in evidenza in modo efficace conoscenze rilevanti insieme ai documenti di origine. Questo approccio rivoluzionario della scoperta dei contenuti basata sulla conoscenza ha un’applicabilità immensa nelle applicazioni basate su documenti come piattaforme di apprendimento come Coursera, Duo lingo e sistemi di gestione dei contenuti online come VoAGI, YouTube e WordPress. Inoltre, estende i suoi benefici alle app aziendali come Sharepoint e Confluence, che ospitano repository di documenti aziendali essenziali.

Un esempio di scenario potrebbe essere: Utente: “Posso trasferire tutti i miei giorni di ferie non goduti all’anno prossimo?” Bot: “Sì, puoi trasferire fino a 10 giorni di ferie non goduti all’anno prossimo. Consulta questi documenti per ulteriori dettagli:” Oranization_Leave_Policy_2023.pdf

Sfruttando il contesto micro-semantico intrinseco all’interno del contenuto, questo approccio apre nuovi orizzonti per un recupero delle informazioni migliorato e una scoperta dei contenuti più illuminante.

Scoperta di prodotti/persone basata sui metadati con LLM – Che si tratti di attributi di prodotto dettagliati in una piattaforma di e-commerce o di attributi di profilo utente significativi in un’app di social media, l’abbondanza di metadati può migliorare significativamente la rilevanza contestuale all’interno dello spettro più ampio offerto dalla LLM. Questa convergenza degli attributi delle entità con il contenuto assomiglia alle capacità di un sistema di ricerca ibrida, sfruttando il potere combinato dei contesti semantici e testuali letterali. Controlla i miei precedenti post sul blog che esplorano questo aspetto.

Per soddisfare efficacemente la ricerca ibrida con il contesto semantico aumentato nella query e nei filtri di ricerca, diventa essenziale l’utilizzo di database vettoriali come Pinecone, Weaviate o Solr.

L’integrazione di LLM può elevare l’esperienza di ricerca a nuove vette, sfruttando i vantaggi che offre. Ecco alcune idee che potrebbero manifestarsi potenzialmente:

a. Miglior rappresentazione semantica con LLM: I modelli GPT offrono una comprensione contestuale superiore rispetto a BERT. Mentre i modelli GPT, inclusi GPT-3 di OpenAI, si basano sull’architettura dei trasformatori e prevedono la parola successiva in una sequenza, BERT si concentra su rappresentazioni di parole o frasi di lunghezza fissa senza contesto. Questa differenza rende i modelli GPT più coerenti e appropriati dal punto di vista contestuale nella generazione di testo, considerando tutto il contesto precedente per le previsioni.

b. Metadati estesi del prodotto arricchiti da LLM: LLM dimostra una straordinaria capacità di generare descrizioni di prodotti complete e in linguaggio naturale, che comprendono tutti i metadati pertinenti. Ad esempio:

Descrizione di esempio nell’indice di ricerca per un prodotto da cucina: Presentiamo il ToastMaster 3000 – un tostapane efficiente ed elegante con tecnologia di tostatura avanzata, fessure ampie e un potente elemento di riscaldamento da 1200 watt. Disponibile in acciaio inossidabile classico, l’ elettrodomestico da cucina perfetto con facile manutenzione. Aggiorna la tua routine di colazione oggi stesso!

Questo approccio si rivela molto vantaggioso per mappare le query degli utenti, specialmente quelle ambigue o espresse in inglese semplice, senza valori accettabili specifici per i filtri. Adottando questo approccio ed eliminando filtri di ricerca avanzati complicati, l’esperienza di ricerca diventa fluida e user-friendly. Gli utenti possono trovare senza sforzo esattamente ciò che stanno cercando, anche in scenari di ricerca complessi e incerti. L’uso della rappresentazione in linguaggio naturale potenzia l’interazione fluida dell’utente, facilitando la scoperta dei prodotti e migliorando complessivamente la soddisfazione dell’utente.

c. Espansione della query con LLM: Infatti, LLM può svolgere un ruolo fondamentale nella generazione di stringhe descrittive che ampliano la query dell’utente. Quando l’obiettivo è la scoperta di contenuti, LLM può andare oltre estrarre gli interessi, gli argomenti o le idee concettuali intrinseche dell’utente. Queste intuizioni estratte possono quindi essere concatenate alla query originale dell’utente, portando a una copertura di ricerca più completa ed estesa.

La query originale dell’utente potrebbe essere:facile da pulire, tostapane di piccole dimensioni ad alta capacitàLa query potenziata da LLM potrebbe essere:Un piccolo tostapane che richiede una manutenzione minima offrendo una capacità di tostatura elevata per una preparazione della colazione efficiente e comoda.

Incorporando questi elementi aggiuntivi, LLM facilita una più ampia esplorazione di contenuti pertinenti, garantendo che agli utenti vengano presentati una serie diversificata di risultati che si allineano strettamente alle loro preferenze e interessi. Questo approccio migliora significativamente il processo di scoperta dei contenuti, fornendo agli utenti un’esperienza di ricerca più personalizzata e arricchente.

Riorientamento dei risultati di ricerca con LLM: In effetti, ci sono progetti attivi in cui LLM può essere impiegato per generare classifiche di rilevanza per i risultati candidati emersi. Sfruttando la potente capacità di LLM di generalizzare in modo olistico le query dell’utente rispetto alle descrizioni dei candidati e di valutare la loro rilevanza, questi progetti mirano a migliorare l’accuratezza e la precisione dei risultati di ricerca. Utilizzando le conoscenze acquisite da LLM, il processo di classificazione diventa più informato e consapevole del contesto, producendo un elenco più raffinato di risultati rilevanti personalizzati per soddisfare l’intento dell’utente.

Scoperta abilitata da Interfaccia Completamente Naturale con LLM – Questo può essere considerato come un balzo audace per superare le frizioni causate dalle tradizionali caselle di ricerca, filtri e controlli di paginazione. Abbracciando un’interfaccia di linguaggio naturale, l’approccio “Parla con i tuoi dati”, potenziato da LLM, prende il centro del palco. Sfruttando le incredibili capacità generative di LLM, l’agente di ricerca genera query per interagire con i database e recuperare i risultati più rilevanti, corrispondenti alle query dell’utente e al contesto fornito durante la conversazione. Dì addio ai vincoli delle tradizionali interfacce di ricerca e dà il benvenuto a una nuova era di esplorazione intuitiva e conversazionale!

Un esempio di scoperta basata su CUI potrebbe essere il seguente:Utente: Sto cercando un tostapane per la mia cucinaQuery generata dal bot: product_category : elettrodomestico da cucina & product_type: tostapane<risultati recuperati mostrati all’utente>Utente: mostrami solo la dimensione più piccolaQuery generata dal bot: product_category : elettrodomestico da cucina & product_type: tostapane & slot_size:2<risultati corrispondenti recuperati mostrati all’utente>Utente: spero che questi abbiano una potenza bassa?Query generata dal bot: product_category : elettrodomestico da cucina & product_type: tostapane & slot_size:2 & current_capacity: 800 watt<risultati corrispondenti recuperati mostrati all’utente>

Nota: Osserva il contesto della query dell’utente che si sta costruendo attraverso l’interazione!

Dettagli di implementazione per la scoperta di prodotti basata su LLM in un’interfaccia utente conversazionale (CUI):

Parla con i dati in linguaggio naturale:

Indipendentemente dal fatto che i dati siano memorizzati in un database vettoriale o in qualsiasi altro database strutturato, i LLM hanno la notevole capacità di generare query in base al contesto del linguaggio naturale. Il vantaggio chiave di questo approccio è la capacità di espandere incrementalmente il contesto della query durante una conversazione. Utilizzando l’ingegneria del prompt semplice con pochi esempi, è possibile generare query di alta qualità che possono recuperare automaticamente risultati rilevanti dal database.

Inoltre, incorporando la conversazione storica come memoria del prompt, è possibile sintetizzare query esaustive che comprendono tutto il contesto della query aumentato dalla query dell’utente e dai filtri espressi per ottimizzare il set di risultati. Questo processo flessibile e dinamico di generazione delle query facilita un’interazione più intuitiva e conversazionale con i dati, sbloccando un nuovo livello di comprensione e rilevanza contestuale.

Analizziamo ora i passaggi dettagliati coinvolti nell’implementazione:

Preelaborazione dei dati: Genera un riassunto completo del prodotto in testo naturale che comprenda tutti i metadati. L’utilizzo di LLM per questo passaggio è anche imperativo, data la sua comprovata superiorità.
Generazione di embedding semantici basati sul modello GPT. Generazione di una rappresentazione vettoriale densa per i dati del prodotto (descrizione) così come il riassunto auto-generato (come visto nel passaggio n. 1). Le opzioni preferite tra gli sviluppatori includono l’utilizzo dell’endpoint di embedding di OpenAI (text-embedding-ada-002) o l’utilizzo di Sentence transformer (all-MiniLM-L6-v2) di Huggingface.
Indicizzazione degli embedding semantici generati (dal passaggio precedente) nel database vettoriale di scelta come Pinecone, ChromaDb, Apache Solr, ecc. Questo deve anche considerare i metadati, ad esempio categoria di prodotto, genere, località, valutazioni, ecc., associati al vettore del documento.
Costruzione di un sintetizzatore di query che accetta input in linguaggio naturale dall’utente, producendo le query del negozio vettoriale guidate dal prompt (contenente lo schema e alcuni esempi di template) così come la memoria contestuale. Inoltre, è possibile aggiungere argomenti estratti dalla query dell’utente per inferire la sua intenzione.
Rivalutazione delle query: Le query generate possono essere convalidate nuovamente per possibili errori, oltre a essere sottoposte a correzione automatica avendo un altro compito di LLM dedicato a questo passaggio.
Recupero dei risultati dal database vettoriale, corrispondenti alle query generate e pre-validate da LLM.
Presentazione dei risultati all’utente, aggiungendo anche ulteriori input e feedback dell’utente alla memoria della conversazione.

E ripetere i passaggi da 4 a 7 man mano che progredisce l’interazione.

Mantenere gli input dell’utente, inclusi le query, i filtri e i feedback, all’interno della memoria è di estrema importanza per estendere il contesto della sessione dell’utente. Mentre l’utente interagisce con i risultati della ricerca e affina le sue query, il prezioso contesto a lungo raggio memorizzato nella memoria consente di personalizzare le risposte alle esigenze in evoluzione in modo più efficace.

Infatti, sebbene il concetto possa sembrare semplice, posso assicurarti che l’esperienza pratica con questo approccio comporta una significativa curva di apprendimento. Nonostante i risultati impressionanti e promettenti, la mia esperienza personale ha rivelato certe sfide e imperfezioni. Permettimi di condividere le mie osservazioni, dettagliando i pro e i contro di questo approccio per fornire una comprensione più completa della sua praticità e dei potenziali problemi.

Vantaggi della ricerca conversazionale basata su LLM:

La principale offerta della ricerca basata su LLM risiede nella sua eccezionale capacità di comprendere a fondo l’intenzione dell’utente attraverso il contesto intrinseco. Questa comprensione va oltre la mera interpretazione delle richieste descrittive dell’utente; si estende a intrecciare efficientemente queste richieste con contesti di prodotto diversi, che spaziano tra dati non strutturati, semi-strutturati e strutturati. La versatilità e la forza contestuale dei LLM li rendono uno strumento indispensabile per sbloccare il vero potenziale dell’esplorazione dei dati e arricchire l’esperienza di ricerca dell’utente.
L’interazione dell’utente avviene completamente in un formato naturale, il che elimina la difficoltà di gestire menu, filtri e scorrimento paginato. Le aspettative / il contesto della query dell’utente si costruiscono nel tempo attraverso molteplici turni di conversazione e feedback forniti dall’utente nella CUI. In questo modo l’utente non deve inserire parole chiave e filtri ripetutamente (cosa che spesso porta frustrazione); piuttosto, l’agente di ricerca LLM può svolgere il lavoro pesante nello sviluppare la comprensione contestuale nel corso delle interazioni in corso.
La ricerca basata su LLM mostra flessibilità nell’adattarsi a requisiti di ricerca in evoluzione – sia a causa degli aggiornamenti dello schema del prodotto che dei cambiamenti relativi all’UX. La CUI consente un processo di scoperta senza soluzione di continuità e dinamico e, cosa ancora più importante, la responsabilità degli aggiornamenti è principalmente affidata al modello LLM utilizzato dall’agente di ricerca.

E ci sono qualche accortezza con questo approccio?

Scalabilità e sovraccarico di manutenzione della prompt: Esporre lo schema come parte del prompt può causare perdita di token a causa della lunghezza di contesto limitata gestita dai LLM.
Sovraccarico di manutenzione: Aggiornamenti continui ai prompt per mantenerli sincronizzati con lo schema in evoluzione è un altro lavoro inevitabile. Per mitigare questi problemi, possono essere esplorate strategie alternative per la gestione dello schema e del prompt, garantendo un’esperienza di ricerca LLM più fluida e robusta.
Qualità delle query con uno schema complesso: La qualità della query generata è più efficiente quando i dati sono distribuiti solo su un numero limitato di tabelle/collezioni. Sebbene sia facile convertire lo schema per denormalizzare la struttura e avere tutti gli elementi parte di una singola/fewer numero di tabelle o collezioni, gli aggiornamenti continui ai database vettoriali non sono ancora efficienti in termini di prestazioni. La manutenzione continua degli elementi dei dati transazionali (come prezzo, disponibilità, ecc.) sarà ancora inefficace nei database vettoriali.
Inaccuratezza delle query: Nonostante le istruzioni esplicite nel prompt e gli esempi dettagliati nei modelli a pochi colpi, tuttavia, le query prodotte dai LLM non sono ancora prive di errori. Poiché le query errate portano a risultati sfavorevoli durante l’interazione con il database, è molto importante controllare nuovamente le query generate dai LLM. Rivolgersi nuovamente a CoT (catena di pensiero) e correggere automaticamente le query generate con un’altra chiamata LLM è un approccio alternativo che può essere preso in considerazione. SelfQueryRetriever di Langchain è uno dei metodi che utilizza questo approccio.
Aumento della latenza: I LLM sono modelli di linguaggio complessi e di grandi dimensioni, e i loro calcoli estesi richiedono un tempo di elaborazione significativo, il che porta a un aumento della latenza. A causa delle dimensioni del modello, delle limitazioni dei token e dei vincoli delle risorse, è spesso possibile un aumento dei ritardi nel recupero dei risultati ovvi.
Rischi per la privacy dei dati: È fondamentale valutare la scelta dei servizi LLM tenendo presente le preoccupazioni sulla sicurezza dei dati. Sebbene l’utilizzo di servizi LLM preconfezionati sembri più affidabile, il potenziale rischio di esposizione di informazioni sensibili e violazioni dei dati diventa una preoccupazione crescente. L’hosting di LLM open source in un Virtual Private Cloud (VPC) può essere una misura efficace per soddisfare i requisiti di privacy e sicurezza dei dati.
Aumento dei costi: Che si opti per i LLM come servizio a pagamento o per l’hosting di LLM personalizzati sulla propria infrastruttura, è fondamentale riconoscere la loro natura intensiva delle risorse, che influisce direttamente sui costi.

A causa di queste sfide, ho continuamente adattato il design della soluzione per creare un’interfaccia testo-database che si avvicina alla perfezione. Infatti, questo è un momento propizio per liberare la creatività ed esplorare le vaste possibilità dei LLM.

C’è un’idea del genere che ho valutato, che elimina la necessità di mantenere metadati categorici e rischia i risultati per la qualità delle query generate dai LLM —

Convertire l’intero set di attributi del prodotto in descrizioni comprensibili in linguaggio naturale, specificamente per scopi di ricerca, e trattare le query di ricerca come recupero di documenti puramente non strutturati è un’opzione convincente da considerare. Questo approccio può semplificare il processo di ricerca e offrire interazioni più intuitive per gli utenti, portando a una maggiore scopribilità e soddisfazione dell’utente. Un’altra alternativa, sebbene sfidante, è sviluppare modelli LLM addestrati in modo fine per ogni segnale contestuale.

L’approccio sopra non solo rimuove la dipendenza dalle query per recuperare i dati del prodotto, ma offre anche una migliore generalizzazione di questi stessi attributi categorici in un contesto mondiale con la potenza del LLM. Un possibile approccio per questo meccanismo (come ho anche citato nel mio post precedente) potrebbe utilizzare un riepilogo del prodotto generato dal LLM nel database di ricerca. E potrebbe apparire così:

“Presentiamo la nostra collezione di incantevoli gonne da festa blu progettate specificamente per ragazze di 13 anni. Realizzate con cura e attenzione ai dettagli, queste gonne sono l’epitome dello stile giovane e della sofisticazione. L’energico tonalità blu aggiunge un tocco di vivacità a qualsiasi abbinamento, rendendolo ideale per occasioni speciali, celebrazioni, o semplicemente per vestirsi per una divertente giornata fuori. Con la loro vestibilità comoda e la silhouette che valorizza la figura, queste gonne faranno sentire la tua giovane fashionista sicura di sé e pronta a brillare. Lascia che mostri il suo senso unico dello stile con queste affascinanti gonne da festa blu.”

L’utente finale che ricerca “gonne blu per adolescenti per compleanno” può ottenere non solo il prodotto sopra ma anche tutti gli articoli pertinenti che corrispondono a un’intenzione simile!

In mezzo a questa emozionante rivoluzione dell’IA generativa, è fondamentale trovare un equilibrio tra creatività e una valutazione del rapporto guadagno-dolore pragmatico. Adottando un approccio ben bilanciato, le aziende possono sfruttare il vasto potenziale dei LLM e prendere decisioni informate che aprono la strada a soluzioni di successo ed economiche.

Mentre mi immergo nei numerosi aspetti della scoperta del prodotto, esploro e genero idee innovative per sfruttare le capacità di LLM; Attendo con impazienza i vostri punti di vista o controragionamenti, poiché arricchiscono la nostra comprensione e favoriscono una più completa esplorazione di questo affascinante campo! Restate sintonizzati e iscrivetevi per altre idee e approcci affascinanti nei miei prossimi post!

Contextual Search,Discovery,GPT,Llm,Llm Search

LLM-Powered Product Discovery Un Salto Oltre la Ricerca Ibrida