Google AI presenta SimPer un framework contrastivo auto-supervisionato per apprendere informazioni periodiche nei dati

Google AI presenta SimPer, un framework auto-supervisionato per apprendere informazioni periodiche nei dati.

Negli ultimi anni, il riconoscimento e la comprensione dei dati periodici sono diventati vitali per una vasta gamma di applicazioni reali, dal monitoraggio dei modelli meteorologici alla rilevazione di segni vitali critici in contesti sanitari. L’apprendimento periodico si è rivelato indispensabile in campi come il rilevamento remoto ambientale, consentendo una previsione accurata dei cambiamenti meteorologici e delle fluttuazioni della temperatura della superficie terrestre. Allo stesso modo, nel campo della salute, l’apprendimento periodico dalle misurazioni video ha mostrato risultati promettenti nell’identificazione di condizioni mediche cruciali come la fibrillazione atriale e gli episodi di apnea del sonno.

Gli sforzi per sfruttare il potere dell’apprendimento periodico hanno portato allo sviluppo di approcci supervisionati come RepNet, che possono identificare attività ripetitive all’interno di un singolo video. Tuttavia, questi metodi richiedono una quantità significativa di dati etichettati, che spesso sono intensivi in termini di risorse e sfidanti. Questa limitazione ha spinto i ricercatori a esplorare metodi di apprendimento auto-supervisionato (SSL), come SimCLR e MoCo v2, che sfruttano grandi quantità di dati non etichettati per catturare dinamiche temporali periodiche o quasi periodiche. Nonostante il loro successo nel risolvere compiti di classificazione, i metodi SSL faticano a comprendere appieno la periodicità intrinseca presente nei dati e a creare rappresentazioni robuste per attributi periodici o di frequenza.

Per affrontare queste sfide, i ricercatori di Google introducono SimPer che presenta un nuovo framework di auto-supervisione contrastiva specificamente progettato per apprendere informazioni periodiche nei dati. Il framework sfrutta le proprietà temporali dei target periodici attraverso l’apprendimento contrastivo temporale di auto, in cui i campioni positivi e negativi sono derivati dalle aumentazioni invarianti e varianti della periodicità della stessa istanza di input.

• Una nuova ricerca sull’IA dall’Italia introduce un modello generativo basato sulla diffusione capace sia di sintesi musicale che di separazione delle fonti
• Scalenut Recensione Il miglior generatore di scrittura SEO con AI? (luglio 2023)
• Crea un riassuntore di testo utilizzando LLMs con Hugging Face

Per definire esplicitamente la misura di similarità nel contesto dell’apprendimento periodico, SimPer propone una costruzione unica di similarità delle caratteristiche periodiche. Questa formulazione consente la formazione di un modello senza alcun dato etichettato e permette un raffinamento per mappare le caratteristiche apprese a valori di frequenza specifici. I ricercatori hanno ideato etichette pseudo-velocità o frequenza per l’input non etichettato, anche quando la frequenza originale è sconosciuta, rendendo SimPer altamente versatile nelle applicazioni reali.

Misure di similarità convenzionali come la similarità del coseno enfatizzano la stretta vicinanza tra vettori di caratteristiche, portando a una sensibilità alle caratteristiche a scorrimento dell’indice, a caratteristiche invertite e a caratteristiche con frequenze modificate. Tuttavia, la similarità delle caratteristiche periodiche si concentra nel mantenere alta similarità per campioni con lievi spostamenti temporali o indici invertiti, catturando contemporaneamente cambiamenti continui di similarità quando la frequenza delle caratteristiche varia. Questo si ottiene attraverso una metrica di similarità nel dominio della frequenza, come la distanza tra due trasformate di Fourier.

Per migliorare ulteriormente le prestazioni del framework, i ricercatori hanno progettato una perdita contrastiva generalizzata che estende la classica perdita di InfoNCE a una variante di regressione soft. Ciò consente il contrasto su etichette continue (frequenza) e rende SimPer adatto per compiti di regressione, in cui l’obiettivo è recuperare un segnale continuo, come i battiti cardiaci.

L’evaluazione di SimPer ha dimostrato la sua superiorità rispetto agli schemi SSL all’avanguardia, tra cui SimCLR, MoCo v2, BYOL e CVRL, su sei diversi set di dati di apprendimento periodico. I set di dati coprivano vari compiti reali nell’analisi del comportamento umano, nel rilevamento remoto ambientale e nella sanità. SimPer ha superato i metodi esistenti ed ha mostrato una notevole efficienza dei dati, robustezza alle correlazioni spurie e la capacità di generalizzare a target non visti.

Con il suo approccio intuitivo e flessibile per l’apprendimento di rappresentazioni di caratteristiche robuste per segnali periodici, SimPer offre promettenti applicazioni in numerosi campi, dalla rilevazione remota ambientale alla sanità. La capacità del framework di catturare accuratamente i modelli periodici senza dati etichettati estensivi lo rende una soluzione interessante per affrontare complessi problemi in diversi ambiti.

In conclusione, il framework di auto-supervisione contrastiva di SimPer presenta una soluzione innovativa per il compito critico dell’apprendimento periodico. SimPer apre la strada a un’applicazione più efficiente, accurata e robusta dell’apprendimento periodico nel mondo reale, sfruttando l’apprendimento contrastivo di auto temporale e introducendo una nuova similarità delle caratteristiche periodiche e una perdita contrastiva generalizzata. Con la disponibilità del repository del codice di SimPer alla comunità di ricerca, ci aspettiamo ulteriori progressi e una gamma più ampia di applicazioni in vari ambiti.