Ricercatori di Amazon propongono KD-Boost un nuovo algoritmo di distillazione delle conoscenze progettato per il matching semantico in tempo reale

Rivoluzionario algoritmo di matching semantico in tempo reale KD-Boost, il nuovo prodotto degli esperti di ricerca di Amazon

“`html

La ricerca web e la ricerca dei prodotti nel settore dell’e-commerce sono due applicazioni primarie che dipendono dalla corrispondenza semantica in tempo reale. Nelle ricerche dei prodotti, la difficoltà risiede nel colmare il divario semantico tra le query degli utenti e i risultati associati. La procedura di corrispondenza consiste generalmente in due passaggi: Sourcing dei prodotti (PS) e Riformulazione automatica delle query. Il sourcing dei prodotti recupera i risultati corrispondenti per una determinata query, spesso definiti prodotti nel contesto della ricerca di prodotti. Successivamente, la riformulazione automatica delle query converte le query degli utenti formulate in modo errato in query ben formulate e semanticamente simili per ampliare la copertura dei risultati.

La corrispondenza semantica è il processo mediante il quale i motori di ricerca riconoscono e collegano elementi con significati comparabili. Con la corrispondenza semantica, le query degli utenti restituiscono non solo qualsiasi risultato ma quelli più rilevanti nel contesto. I modelli basati su transformer hanno dimostrato di essere molto efficaci nell’incodificare le richieste e raggrupparle in uno spazio di embedding con elementi semanticamente correlati come le query o i risultati. Tuttavia, i problemi di latenza rendono i grandi modelli di trasformazione impraticabili per la corrispondenza in tempo reale a causa dei costi computazionali.

Per affrontare queste sfide, un team di ricercatori di Amazon ha introdotto KD-Boost, una nuova tecnica di conoscenza distillata che è stata appositamente sviluppata per affrontare i problemi di corrispondenza semantica in tempo reale. KD-Boost utilizza verità fondamentali ed etichette soft da un modello di insegnamento per addestrare modelli studenti precisi a bassa latenza. Le etichette soft sono prodotte dai segnali a coppie della query-prodotto e della query-query, ottenuti attraverso audit diretti, ricerche sul comportamento degli utenti e dati basati sulla tassonomia. Sono state utilizzate funzioni di perdita personalizzate per guidare correttamente il processo di apprendimento.

I ricercatori hanno condiviso che lo studio ha utilizzato una varietà di fonti di segnali di similarità e dissimilarità per soddisfare le esigenze combinate di riformulazione delle query e sourcing dei prodotti. Etichette di rilevanza editoriale ordinale per coppie query-prodotto, informazioni sul comportamento degli utenti come clic e vendite, e tassonomia dei prodotti sono alcuni esempi di questi segnali. Sono state utilizzate funzioni di perdita personalizzate per assicurarsi che il modello apprenda rappresentazioni in grado di catturare accuratamente le sottigliezze di rilevanza e similarità.

Il team ha condiviso che sono stati effettuati test su dataset di e-commerce interni ed esterni, che hanno dimostrato un miglioramento significativo del 2-3% nell’ROC-AUC (Receiver Operating Characteristic – Area Under the Curve) rispetto all’apprendimento diretto del modello studente. KD-Boost ha dimostrato una migliore performance rispetto sia ai benchmark di conoscenza distillata state-of-the-art che ai modelli di insegnamento.

Sono stati osservati risultati promettenti in test online simulati A/B che utilizzano KD-Boost per la riformulazione automatica delle query. La corrispondenza tra le query è aumentata del 6,31%, suggerendo un miglioramento nella comprensione semantica. È stata anche riscontrata un’incremento del 2,19% nella pertinenza, indicando corrispondenze più precise e rilevanti dal punto di vista contestuale, e un aumento del 2,76% nella copertura dei prodotti, indicando una gamma più ampia di risultati pertinenti.

In conclusione, questo studio ha affrontato i problemi di latenza associati alle ricerche estensive di prodotti, enfatizzando il miglioramento sia delle attività di sourcing dei prodotti che di riformulazione automatica delle query. È stata riconosciuta la limitazione dei modelli basati su trasformer attuali ed è stato studiato l’uso della conoscenza distillata come soluzione.

“`