Tutto ciò che devi sapere sull’apprendimento in contesto

Apprendimento in contesto tutto ciò che devi sapere

| APPRENDIMENTO IN CONTESTO | MODELLI DI LINGUA GRANDI | LLMs

Cos’è e come funziona ciò che rende i Modelli di Lingua Grandi così potenti

Foto di 🇸🇮 Janko Ferlič su Unsplash

“Per me il contesto è la chiave – da ciò deriva la comprensione di tutto.” – Kenneth Noland

L’apprendimento in contesto (ICL) è una delle abilità più sorprendenti dei modelli. Osservato con GPT-3, ha attirato l’attenzione degli autori. Esattamente cos’è l’ICL? E, soprattutto, da cosa nasce?

Questo articolo è diviso in diverse sezioni, per ognuna delle quali risponderemo a queste domande:

  • Cos’è l’Apprendimento in Contesto (ICL)? Perché è interessante? Perché è utile?
  • Il mistero dell’ICL: come funziona? È il training data? È il prompt? È l’architettura?
  • Qual è il futuro dell’ICL? Quali sono le sfide ancora da affrontare?

Consulta l’elenco delle fonti alla fine dell’articolo, fornisco anche alcune suggerimenti per approfondire gli argomenti.

Cos’è l’Apprendimento in Contesto (ICL)?

Foto di Dmitry Ratushny su Unsplash

“I limiti del mio linguaggio significano i limiti del mio mondo.” – Ludwig Wittgenstein

Prima che i Modelli di Lingua Grandi (LLMs) fossero pubblicati, un modello di intelligenza artificiale era limitato ai dati su cui era stato addestrato. In altre parole, i LLM potevano risolvere solo compiti per i quali il loro addestramento era stato progettato.

GPT-3 e i LLM di oggi, invece, mostrano una nuova capacità: la capacità di imparare nuove abilità e risolvere nuovi compiti semplicemente fornendo nuovi esempi nell’input (prompt). Anche in questo caso, non stiamo addestrando il modello; non ci sono aggiornamenti di gradiente o cambiamenti nei parametri del modello. Questa abilità è chiamata Apprendimento in Contesto (ICL).