Raggiungere una maggiore coerenza interna nei grandi modelli di linguaggio

Ottenere una maggior coerenza interna nei grandi modelli linguistici

Quando gli LLM vengono utilizzati per valutare qualità come la correttezza, l’accuratezza o la rilevanza di un pezzo di testo, la coerenza è fondamentale. Se un LLM mostra giudizi inconsistenti, le sue valutazioni diventano non affidabili e non degne di fiducia.

Se un LLM valuta la qualità di ragionamento degli argomenti, ma si contraddice valutando un argomento non valido come più logicamente valido di uno perfettamente valido, allora fallisce come arbitro della ragione. Le sue valutazioni perdono credibilità a causa della mancanza di coerenza logica del modello stesso.

Quando tali incongruenze si presentano, non vi è una base stabile per il confronto tra le valutazioni degli LLM di diversi pezzi di testo. Se il modello si contraddice arbitrariamente, allora le frasi non possono essere classificate in modo affidabile l’una rispetto all’altra basandosi sui punteggi inconsistenti del modello.

In sostanza, l’incoerenza distrugge le basi per il confronto che le valutazioni mirano a fornire in primo luogo. Se un LLM non può dimostrare un’applicazione coerente dei criteri di valutazione, allora utilizzarlo per valutare il testo perde tutta efficacia e utilità.

• Per favore, utilizzare il carico di lavoro in streaming per testare le prestazioni dei database vettoriali
• Una guida completa all’analisi degli stakeholder nella governance dell’intelligenza artificiale (Parte 2)
• Un Requiem per il Trasformatore?

Quindi, la coerenza nel giudizio e nella valutazione è obbligatoria per gli LLM impiegati per valutare qualità e caratteristiche testuali. Senza un alto livello di stabilità nelle sue valutazioni, basate su una comprensione coerente dei concetti che vengono valutati, le basi per il confronto si disgregano quando si utilizza l’output degli LLM come forma di valutazione o punteggio.

Campionare più soluzioni rivela che la coerenza tra gli output correla fortemente con la qualità. Tuttavia, le tecniche di coerenza esistenti si basano sull’estrazione e la corrispondenza di risposte in forma chiusa, limitando la loro applicabilità. Questo articolo esplora metodi per migliorare l’auto-coerenza senza tali vincoli, pur ancorando le decisioni nella conoscenza del mondo reale.

La necessità di autocoerenza

Nonostante i rapidi progressi, i fallimenti logici e le falsità continuano a ostacolare un ragionamento affidabile nei modelli all’avanguardia. Per analisi complesse a più step o generazione di testo libero, i modelli spesso si contraddicono o inventano fatti non supportati.

Ciò si manifesta in due modi chiave: generazione aperta inconsistente e inferenze incoerenti. Durante l’esecuzione…