Un’API della metafora un motore di ricerca rivoluzionario costruito per LLM

Un'API della metafora per LLM.

Internet era un’utopia in cui tutti potevano accedere alle informazioni più aggiornate su qualsiasi argomento. Tuttavia, la feroce competizione per l’attenzione degli utenti ha distorto il sito. Il team di Metaphor crede che ciò sia evidente soprattutto nel declino delle ricerche su Google. Ottenere un posizionamento migliore nei risultati di Google per sfruttare il traffico risultante è così importante che ha creato una propria industria: l’ottimizzazione dei motori di ricerca. Di conseguenza, i siti web competono ferocemente non per avere il miglior contenuto ma per posizionarsi meglio nei risultati di ricerca di Google, anche per query relativamente semplici come “ricetta melanzane alla parmigiana”.

Il team di Metaphor si è proposto di ripristinare l’incanto della ricerca sfruttando il potere dei grandi modelli di linguaggio; i progressi come GPT3 hanno dato loro speranza che ciò fosse possibile. Hanno ottenuto un investimento per una startup, acquistato un cluster di GPU e si sono messi all’opera per migliorare la ricerca. Si sono proposti di (e continuano a) far sentire come se si venisse presi per mano attraverso la somma di tutta la conoscenza umana durante una ricerca su Internet.

Il gruppo ha introdotto Metaphor API, un’interfaccia unificata per integrare LLM con il web. È possibile utilizzare solo poche righe di codice:

  • Prova una ricerca per parola chiave o metafora
  • Verrà restituito immediatamente l’HTML analizzato. Non è necessario effettuare lo scraping del web.

Nella ricerca metaforica viene utilizzato un modello basato su trasformatori per prevedere i collegamenti che saranno più rilevanti per la query. La differenza principale è che i risultati restituiti in Metaphor sono molto più personalizzati rispetto alla richiesta specifica dell’utente. Se si digita “podcast sull’IA” su Google, verranno visualizzati molti collegamenti come “I 11 migliori podcast sull’IA”, ma in Metaphor verranno mostrati podcast reali che sono stati organizzati neuralmente per qualità e rilevanza.

La rete neurale del team è stata addestrata per riconoscere tale testo e prevedere il collegamento successivo. Il risultato è un nuovo approccio per trovare ciò di cui si ha bisogno online che imita l’azione di condividere il collegamento trovato. Sebbene possa essere inizialmente oscuro, le ricerche effettuate in questo modo possono produrre risultati pertinenti e utili. Ecco alcune opzioni di ricerca:

  • Descrivi o senti il percorso attraverso una ricerca.
  • Saranno cercate solo entità del tipo desiderato.
  • Scopri materiale che Google non mostra in modo prominente perché le parole chiave non sono l’approccio migliore o perché il motore di ricerca non si preoccupa di posizionarlo in alto.
  • Cerca altri collegamenti simili a quello nella ricerca.

Caratteristiche principali

  • Per le sue capacità di previsione dei collegamenti, Metaphor utilizza un’architettura basata su trasformatori. Ciò consente di effettuare ricerche con tutta l’espressività del linguaggio comune.
  • Restituisce immediatamente HTML analizzato per qualsiasi pagina web, quindi lo scraping del web non è mai un problema.
  • Utilizzando i criteri disponibili, è possibile affinare la ricerca in base al periodo e al dominio temporale.
  • È semplice da utilizzare e viene fornito con SDK Python e Node. Consulta la guida all’implementazione
  • per imparare come far gestire tutto a GPT.
  • Qualsiasi pagina nell’indice può avere il suo contenuto restituito istantaneamente.
  • Vengono restituiti più risultati e gli LLM possono ordinarli.
  • Il suo prezzo è significativamente inferiore rispetto a quello dell’API di Bing.
  • Le prime mille query al mese utilizzando Metaphor sono gratuite per sempre.