Dimentica il RAG, il futuro è RAG-Fusion

Dimentica il RAG, il futuro è RAG-Fusion' -> 'Dimentica il RAG, il futuro è RAG-Fusion il connubio perfetto tra stile e innovazione

La prossima frontiera della ricerca: la generazione potenziata del recupero incontra la fusione del rango reciproco e le query generate

Dopo aver costruito prodotti di ricerca per quasi un decennio, posso dire onestamente che nulla è stato così rivoluzionario come l’attuale crescita della Generazione Potenziata del Recupero (RAG). Questo sistema sta rivoluzionando la ricerca e il recupero delle informazioni utilizzando la ricerca vettoriale con l’IA generativa per produrre risposte dirette basate su dati affidabili.

Tuttavia, come responsabile di prodotto che ha recentemente inserito prodotti RAG in un ambiente di produzione, credo che RAG sia ancora troppo limitato per soddisfare le esigenze degli utenti e abbia bisogno di un aggiornamento.

Non fraintendetemi, RAG è eccellente e rappresenta sicuramente un passo nella giusta direzione per le tecnologie di recupero delle informazioni. Ho utilizzato RAG sin dall’avvento di GPT-2 nel 2021, il che ha notevolmente contribuito a aumentare la mia produttività quando cerco informazioni preziose dalle mie stesse note o documenti di lavoro. RAG ha molti vantaggi:

• Fusione della ricerca vettoriale: RAG introduce un nuovo paradigma integrando le capacità di ricerca vettoriale con i modelli generativi. Questa fusione consente la generazione di output più ricchi e consapevoli del contesto dai grandi modelli di linguaggio (LLM).
• Riduzione delle allucinazioni: RAG riduce significativamente la propensione degli LLM per le allucinazioni, rendendo il testo generato più ancorato ai dati.
• Utilità personale e professionale: Dalle applicazioni personali come la consultazione delle note agli utilizzi più professionali, RAG mostra versatilità nel migliorare la produttività e la qualità del contenuto basandosi su una fonte di dati affidabile.

Tuttavia, sto scoprendo sempre più limitazioni di RAG:

• Retro-Ingegnerizzazione di uno Schema di Database GPT vs Bard vs LLama2 (Episodio 2)
• Una semplice guida per capire le funzioni apply() in R
• (other possible translations ‘Hai raggiunto un punto morto nel tuo progetto di dati, e adesso?’ ‘Hai incontrato un ostacolo nel tuo progetto di dati, e adesso?’ ‘Sei arrivato a un punto di stallo nel tuo progetto di dati, e adesso?’)

• Limiti delle attuali tecnologie di ricerca: RAG è limitato dalle stesse cose che limitano le nostre tecnologie di ricerca lessicale e vettoriale basate sul recupero.
• Inefficienze nella ricerca umana: Gli esseri umani non sono bravi a scrivere ciò che vogliono nei sistemi di ricerca, come errori di battitura, query vaghe o vocabolario limitato, che spesso portano all’omissione di un vasto serbatoio di…