SimPer Apprendimento semplice auto-supervisionato di obiettivi periodici

SimPer Apprendimento auto-supervisionato di obiettivi periodici

Pubblicato da Daniel McDuff, ricercatore scientifico, e Yuzhe Yang, ricercatore studente, Google

Imparare dai dati periodici (segnali che si ripetono, come i battiti cardiaci o i cambiamenti giornalieri della temperatura sulla superficie terrestre) è fondamentale per molte applicazioni reali, dal monitoraggio dei sistemi meteorologici alla rilevazione dei segni vitali. Ad esempio, nel campo del telerilevamento ambientale, è spesso necessario imparare in modo periodico per consentire la previsione immediata dei cambiamenti ambientali, come i modelli di precipitazione o la temperatura della superficie terrestre. Nel campo della salute, l’apprendimento dalle misurazioni video ha dimostrato di estrarre segni vitali (quasi) periodici come la fibrillazione atriale e gli episodi di apnea del sonno.

Approcci come RepNet evidenziano l’importanza di questi tipi di compiti e presentano una soluzione che riconosce le attività ripetitive all’interno di un singolo video. Tuttavia, questi sono approcci supervisionati che richiedono una quantità significativa di dati per catturare le attività ripetitive, tutti etichettati per indicare il numero di volte in cui un’azione è stata ripetuta. Etichettare tali dati è spesso difficile e oneroso in termini di risorse, poiché richiede ai ricercatori di catturare manualmente misurazioni temporali di riferimento che sono sincronizzate con la modalità di interesse (ad esempio, video o immagini satellitari).

Alternativamente, i metodi di apprendimento auto-supervisionato (SSL) (ad esempio, SimCLR e MoCo v2), che sfruttano una grande quantità di dati non etichettati per apprendere rappresentazioni che catturano dinamiche temporali periodiche o quasi periodiche, hanno dimostrato successo nella risoluzione di compiti di classificazione. Tuttavia, trascurano la periodicità intrinseca (ossia la capacità di identificare se un frame fa parte di un processo periodico) dei dati e non riescono a imparare rappresentazioni robuste che catturano attributi periodici o di frequenza. Ciò perché l’apprendimento periodico presenta caratteristiche distinte rispetto ai compiti di apprendimento prevalenti.

• Riconoscimento facciale negli Stati Uniti sta per affrontare uno dei suoi test più importanti
• Spinning verso il futuro – Nuova guida d’onda sta cambiando il modo in cui i dati vengono trasferiti e manipolati
• Un modo sorprendentemente semplice per sventare i ladri di auto

La similarità delle caratteristiche è diversa nel contesto delle rappresentazioni periodiche rispetto alle caratteristiche statiche (ad esempio, immagini). Ad esempio, i video che sono sfasati da brevi ritardi temporali o che sono invertiti dovrebbero essere simili al campione originale, mentre i video che sono stati campionati o decimati da un fattore x dovrebbero essere diversi dal campione originale per un fattore x.

Per affrontare queste sfide, in “SimPer: Simple Self-Supervised Learning of Periodic Targets”, pubblicato all’undicesima conferenza internazionale sulle rappresentazioni di apprendimento (ICLR 2023), abbiamo introdotto un framework di contrasto auto-supervisionato per apprendere informazioni periodiche nei dati. In particolare, SimPer sfrutta le proprietà temporali dei target periodici utilizzando l’apprendimento auto-contrastivo temporale, in cui campioni positivi e negativi vengono ottenuti attraverso aumentazioni invarianti e varianti della periodicità dalla stessa istanza di input. Proponiamo una similarità delle caratteristiche periodiche che definisce esplicitamente come misurare la similarità nel contesto dell’apprendimento periodico. Inoltre, progettiamo una perdita di contrasto generalizzata che estende la classica perdita InfoNCE a una variante di regressione morbida che consente di contrastare etichette continue (frequenza). Successivamente, dimostriamo che SimPer apprende in modo efficace rappresentazioni delle caratteristiche periodiche rispetto ai metodi SSL all’avanguardia, evidenziando le sue interessanti proprietà, tra cui una maggiore efficienza dei dati, robustezza alle correlazioni spurie e generalizzazione agli spostamenti di distribuzione. Infine, siamo entusiasti di rilasciare il repository del codice SimPer alla comunità di ricerca.

Il framework SimPer

SimPer introduce un framework di apprendimento auto-contrastivo temporale. I campioni positivi e negativi vengono ottenuti attraverso aumentazioni invarianti e varianti della periodicità dalla stessa istanza di input. Per gli esempi video temporali, i cambiamenti invarianti della periodicità sono il ritaglio, la rotazione o l’inversione, mentre i cambiamenti varianti della periodicità coinvolgono l’aumento o la diminuzione della velocità di un video.

Per definire esplicitamente come misurare la similarità nel contesto dell’apprendimento periodico, SimPer propone una similarità delle caratteristiche periodiche. Questa costruzione ci consente di formulare l’addestramento come un compito di apprendimento contrastivo. Un modello può essere addestrato con dati senza alcuna etichetta e quindi affinato, se necessario, per mappare le caratteristiche apprese a valori di frequenza specifici.

Dato una sequenza di input x, sappiamo che c’è un segnale periodico associato. Trasformiamo quindi x per creare una serie di campioni alterati in termini di velocità o frequenza, che cambiano il target periodico sottostante, creando così diverse visualizzazioni negative. Sebbene la frequenza originale sia sconosciuta, elaboriamo efficacemente etichette pseudo-velocità o frequenza per l’input non etichettato x.

Le misure di similarità convenzionali come la similarità coseno enfatizzano la stretta vicinanza tra due vettori di caratteristiche e sono sensibili alle caratteristiche spostate degli indici (che rappresentano diversi timestamp), alle caratteristiche invertite e alle caratteristiche con frequenze modificate. Al contrario, la similarità delle caratteristiche periodiche dovrebbe essere elevata per campioni con piccoli spostamenti temporali e/o indici invertiti, mentre cattura un cambiamento di similarità continuo quando la frequenza delle caratteristiche varia. Questo può essere ottenuto tramite una metrica di similarità nel dominio delle frequenze, come la distanza tra due trasformate di Fourier.

Per sfruttare la continuità intrinseca dei campioni aumentati nel dominio delle frequenze, SimPer progetta una perdita contrastiva generalizzata che estende la classica perdita InfoNCE a una variante di regressione morbida che consente il contrasto su etichette continue (frequenza). Ciò lo rende adatto per compiti di regressione, dove l’obiettivo è ripristinare un segnale continuo, come un battito cardiaco.

SimPer costruisce viste negative dei dati attraverso trasformazioni nel dominio delle frequenze. La sequenza di input x ha un segnale periodico sottostante associato. SimPer trasforma x per creare una serie di campioni alterati in velocità o frequenza, che cambia il target periodico sottostante, creando così diverse viste negative. Sebbene la frequenza originale sia sconosciuta, elaboriamo efficacemente etichette pseudo di velocità o frequenza per l’input non etichettato x (aumenti variabili di periodicità τ). SimPer prende trasformazioni che non cambiano l’identità dell’input e le definisce come aumenti di periodicità invarianti σ, creando così diverse viste positive del campione. Quindi, invia queste viste aumentate all’encoder f, che estrae le caratteristiche corrispondenti.

Risultati

Per valutare le prestazioni di SimPer, l’abbiamo confrontato con schemi SSL all’avanguardia (ad esempio, SimCLR, MoCo v2, BYOL, CVRL) su un insieme di sei diversi set di dati di apprendimento periodico per compiti comuni del mondo reale nell’analisi del comportamento umano, nel telerilevamento ambientale e nella sanità. In particolare, di seguito presentiamo i risultati sulla misurazione della frequenza cardiaca e sul conteggio delle ripetizioni degli esercizi dai video. I risultati mostrano che SimPer supera gli schemi SSL all’avanguardia su tutti e sei i set di dati, evidenziando le sue prestazioni superiori in termini di efficienza dei dati, robustezza alle correlazioni spurie e generalizzazione a target non visti.

Qui mostriamo i risultati quantitativi su due set di dati rappresentativi utilizzando SimPer pre-addestrato utilizzando vari metodi SSL e sintonizzato sui dati etichettati. Inizialmente, pre-addestriamo SimPer utilizzando il set di dati di fotopletismografia remota dell’Università di Bourgogne Franche-Comté (UBFC), un set di dati di previsione della fotopletismografia umana e della frequenza cardiaca, e confrontiamo le sue prestazioni con i metodi SSL all’avanguardia. Osserviamo che SimPer supera i metodi SimCLR, MoCo v2, BYOL e CVRL. I risultati sul set di dati di conteggio delle azioni umane, Countix, confermano ulteriormente i vantaggi di SimPer rispetto ad altri metodi poiché supera notevolmente la baseline supervisionata. Per i risultati dell’analisi delle caratteristiche e le prestazioni su altri set di dati, fare riferimento all’articolo.

Risultati di SimCLR, MoCo v2, BYOL, CVRL e SimPer sui set di dati UBFC e Countix dell’Università di Bourgogne Franche-Comté. Le prestazioni della frequenza cardiaca e del conteggio delle ripetizioni vengono riportate come errore assoluto medio (MAE).

Conclusioni e applicazioni

Presentiamo SimPer, un framework contrastivo auto-supervisionato per apprendere informazioni periodiche nei dati. Dimostriamo che combinando un framework di apprendimento temporale auto-contrastivo, aumentazioni invarianti e varianti alla periodicità e una similarità continua delle caratteristiche periodiche, SimPer offre un approccio intuitivo e flessibile per apprendere rappresentazioni di caratteristiche robuste per segnali periodici. Inoltre, SimPer può essere applicato a vari campi, dal rilevamento remoto dell’ambiente alla salute.

Ringraziamenti

Vorremmo ringraziare Yuzhe Yang, Xin Liu, Ming-Zher Poh, Jiang Wu, Silviu Borac e Dina Katabi per il loro contributo a questo lavoro.