Gli insiemi di prompt rendono le LLM (Lingua Models) più affidabili

Prompt sets make LLMs (Language Models) more reliable.

Strategie semplici per ottenere il massimo da qualsiasi modello di lingua…

Chiunque abbia lavorato con grandi modelli di lingua (LLMs) sa che l’ingegneria della richiesta è un processo informale e difficile. Piccole modifiche a una richiesta possono causare grandi cambiamenti nell’output del modello, è difficile (o addirittura impossibile in alcuni casi) sapere quale impatto avrà il cambiamento di una richiesta e il comportamento della richiesta dipende molto dal tipo di modello utilizzato. La natura fragile dell’ingegneria delle richieste è una dura realtà quando pensiamo alla creazione di applicazioni con LLM. Se non possiamo prevedere il comportamento del nostro modello, come possiamo costruire un sistema affidabile intorno a questo modello? Anche se i LLM sono incredibilmente capaci, questo problema complica il loro utilizzo in molti scenari pratici.

“La richiesta è un processo fragile in cui piccole modifiche alla richiesta possono causare grandi variazioni nelle previsioni del modello e quindi un notevole sforzo è dedicato alla progettazione di una richiesta perfetta per un compito.” – da [2]

Dato la natura fragile dei LLM, trovare tecniche che rendano questi modelli più accurati e affidabili è diventato di recente un argomento di ricerca molto popolare. In questa panoramica, ci concentreremo su una tecnica in particolare – gli ensemble di richieste. Semplicemente, gli ensemble di richieste sono solo insiemi di richieste diverse che sono destinate a risolvere lo stesso problema. Per migliorare l’affidabilità dei LLM, possiamo generare una risposta a una domanda interrogando il LLM con diverse richieste di input e considerando ciascuna delle risposte del modello quando si deduce una risposta finale. Come vedremo, alcune ricerche su questo argomento sono molto tecniche. Tuttavia, l’idea di base di queste tecniche è semplice e può migliorare drasticamente le prestazioni dei LLM, rendendo gli ensemble di richieste un approccio privilegiato per migliorare l’affidabilità dei LLM.

Contesto

Prima di conoscere le recenti ricerche sugli ensemble di richieste e l’affidabilità dei LLM, diamo uno sguardo a alcuni concetti fondamentali e informazioni di base legate ai LLM che contribuiranno a rendere questa panoramica più completa e comprensibile.

• Diffusione stabile l’AI della comunità
• Come utilizzare ChatGPT per convertire il testo in una presentazione PowerPoint
• Nuovi grafici SHAP Violino e Heatmap