Apprendimento auto-supervisionato utilizzando le teste di proiezione

Apprendimento auto-supervisionato con l'uso di proiezioni personali

Migliorare le prestazioni con i dati non etichettati

“Self-supervised” di Daniel Warfield usando p5.js

In questo articolo imparerai il concetto di apprendimento auto-supervisionato, come può essere utilizzato per migliorare le prestazioni del modello e il ruolo delle testate di proiezione nel processo di apprendimento auto-supervisionato. Copriremo l’intuizione, alcune fonti, e un esempio di visione artificiale in PyTorch.

A chi è utile questo articolo? A chiunque abbia dati non etichettati e modificabili.

Quanto è avanzato questo articolo? La prima parte di questo articolo è concettualmente accessibile ai principianti, ma l’esempio è più focalizzato sugli scienziati dei dati intermedi e avanzati.

Prerequisiti: Una comprensione a livello avanzato delle reti convoluzionali e dense.

Codice: Il codice completo può essere trovato qui.

Auto-supervisione vs Altri Approcci

Generalmente, quando si pensa ai modelli, vengono considerati due approcci: modelli supervisionati e non supervisionati.

  • Apprendimento Supervisionato è il processo di addestramento di un modello basato su informazioni etichettate. Ad esempio, nell’addestrare un modello per prevedere se le immagini contengono gatti o cani, si cura un insieme di immagini che sono etichettate come contenenti un gatto o un cane, quindi si addestra il modello (usando discesa del gradiente) a comprendere la differenza tra immagini con gatti e cani.
  • Apprendimento Non Supervisionato è il processo di fornire a un modello un tipo di informazione non etichettata, ed estrarre inferenze utili attraverso una sorta di trasformazione dei dati. Un esempio classico di apprendimento non supervisionato è il clustering, in cui gruppi di informazioni vengono estratti da dati non raggruppati in base a posizioni locali.

L’apprendimento auto-supervisionato sta da qualche parte nel mezzo. L’auto-supervisione utilizza etichette generate in modo programmato, non da esseri umani. In un certo senso è supervisionato perché il modello apprende dai dati etichettati, ma in altri sensi è non supervisionato perché non vengono fornite etichette all’algoritmo di addestramento. Da qui il termine auto-supervisione.

L’apprendimento auto-supervisionato (SSL) mira a produrre rappresentazioni utili delle caratteristiche senza accesso a annotazioni di dati etichettati da esseri umani. — K Gupta et al.

Auto-Supervisione in…