Una favola dell’induzione del bias

Induction Bias Fable

|BIAS INDUTTIVO| TRANSFORMERS| VISIONE ARTIFICIALE|

Abbiamo bisogno di un bias induttivo? Come modelli semplici possono raggiungere le performance dei modelli complessi

Foto di Natalia Y. su Unsplash

Come abbiamo visto negli ultimi anni, l’apprendimento profondo ha avuto una crescita esponenziale sia nell’uso che nel numero di modelli. Quello che ha aperto la strada a questo successo è forse il transfer learning stesso, l’idea che un modello possa essere addestrato con una grande quantità di dati e poi utilizzato per una miriade di compiti specifici.

Negli ultimi anni, è emerso un paradigma: i transformer (o basati su questo modello) vengono utilizzati per le applicazioni di NLP, mentre per le immagini si utilizzano vision transformers o reti convoluzionali.

La Biblioteca Babilonica Infinita degli LLM

Open-source, dati e attenzione: come cambierà il futuro degli LLM

towardsdatascience.com

META’s Hiera: ridurre la complessità per aumentare l’accuratezza

La semplicità consente all’IA di raggiungere prestazioni incredibili e velocità sorprendenti

towardsdatascience.com

D’altra parte, sebbene abbiamo molte prove che dimostrano che questi modelli funzionano bene nella pratica, la comprensione teorica del motivo per cui ciò avviene è rimasta indietro. Questo perché questi modelli sono molto ampi e diventa difficile sperimentare. Il fatto che i Vision Transformers superino le reti neurali convoluzionali avendo un bias induttivo teoricamente inferiore per la visione mostra che c’è una lacuna teorica da colmare.

Questo articolo si concentra su:

  • Che cos’è esattamente il bias induttivo? Perché è importante e quale bias induttivo hanno i nostri modelli preferiti?
  • Il bias induttivo dei transformer e delle CNN. Quali sono le differenze tra questi due modelli e perché queste discussioni sono importanti?
  • Come possiamo studiare il bias induttivo? Come sfruttare la somiglianza tra diversi modelli per catturare le loro differenze.
  • Un modello con un bias induttivo debole può avere successo nello stesso modo nella visione artificiale, un campo in cui il bias induttivo è…