Parla solo di ciò che hai letto gli LLM possono generalizzare oltre i dati di preaddestramento?

Parla solo di ciò di cui hai letto gli LLM possono generalizzare oltre i dati di preaddestramento?

Svelare i Limiti e le Meraviglie dell’Apprendimento In-Context nei Grandi Modelli Linguistici

Foto di Hans-Peter Gauster su Unsplash

L’apprendimento in-context è una delle armi segrete che ha reso i Grandi Modelli Linguistici così di successo, ma ancora oggi molti punti rimangono poco chiari. Quali sono i limiti di questa incredibile capacità? Da dove proviene? È l’ingrediente segreto che consente ai GML di avvicinarci all’intelligenza generale artificiale?

L’apprendimento in-context: la skill segreta di un GML

Foto di Thao LEE su Unsplash

Una delle capacità più sorprendenti dei Grandi Modelli Linguistici (GML) è l’apprendimento in-context (ICL). Semplicemente fornendo alcuni esempi a un modello, è in grado di generare una risposta, mappando l’input all’output. Ad esempio, fornendo alcuni esempi di traduzione tra due lingue, il modello capisce che deve effettuare una traduzione.

Tutto Quello che Devi Sapere sull’Apprendimento In-Context

Cos’è e come funziona cosa rende i Grandi Modelli Linguistici così potenti

towardsdatascience.com

Potremmo generalizzare questo concetto come il fatto che il modello riesce a mappare una funzione tra due elementi. Oppure che, ad esempio ‘casa = funzione(maison)’, quindi il modello deve usare gli esempi per capire questa funzione che trasforma l’input ‘maison’ in ‘casa’.

Questo comportamento non è limitato solo al linguaggio ma anche ad altre attività. Ad esempio, Garg ha dimostrato che un transformer può imparare tramite l’apprendimento in-context le funzioni lineari. In questo lavoro, hanno dimostrato che un Transformer può anche imparare funzioni complesse (ad alta dimensionalità e non lineari) dagli esempi in-context. Sorprendentemente, i Transformer possono superare i modelli dedicati progettati per queste attività.

fonte immagine: qui