Invertire il declino delle barriere coralline il robot CUREE si tuffa in profondità con il deep learning

Invertire il declino delle barriere coralline il robot CUREE si tuffa in profondità con l'apprendimento profondo

I ricercatori stanno approfondendo il deep learning in modo letterale.

Il Laboratorio di Robotica Autonoma e Percezione dell’Instituto Oceanografico di Woods Hole (WHOI) (WARPLab) e il MIT stanno sviluppando un robot per lo studio delle barriere coralline e dei loro ecosistemi.

Il veicolo subacqueo autonomo (AUV) WARPLab, dotato di un modulo NVIDIA Jetson Orin NX, è uno sforzo dell’istituzione di ricerca oceanografica privata più grande al mondo per invertire il declino delle barriere coralline.

Secondo l’Iniziativa WHOI Reef Solutions, il 25% delle barriere coralline nel mondo è scomparso negli ultimi tre decenni e la maggior parte delle barriere rimaste è in via di estinzione.

Il CUREE (Curious Underwater Robot for Ecosystem Exploration), come è stato chiamato l’AUV, raccoglie dati visivi, audio e ambientali insieme ai subacquei per capire l’impatto dell’uomo sulle barriere coralline e sulla vita marina che le circonda. Il robot utilizza l’intelligenza artificiale edge abilitata da NVIDIA Jetson per creare modelli tridimensionali delle barriere e per tracciare gli organismi e la vegetazione marina. Esegue inoltre modelli per navigare e raccogliere dati in modo autonomo.

Il WHOI, la cui sottomarino ha esplorato per la prima volta il Titanic nel 1986, sta sviluppando il suo robot CUREE per la raccolta dati al fine di ampliare l’effort e contribuire alle strategie di mitigazione. L’organizzazione di ricerca oceanica sta anche esplorando l’uso di simulazioni e gemelli digitali per replicare meglio le condizioni delle barriere coralline e indagare soluzioni come NVIDIA Omniverse, una piattaforma di sviluppo per creare e collegare strumenti e applicazioni tridimensionali.

Creando un gemello digitale della Terra in Omniverse, NVIDIA sta sviluppando il supercomputer di intelligenza artificiale più potente al mondo per prevedere i cambiamenti climatici, chiamato Earth-2.

AI sott’acqua: modello DeepSeeColor

Tutti coloro che hanno fatto snorkeling sanno che la visione sott’acqua non è chiara come sulla terraferma. Nel tempo, l’acqua attenua lo spettro visibile di luce solare, evidenziando meno alcuni colori rispetto ad altri. Allo stesso tempo, le particelle nell’acqua creano una vista appannata, nota come backscatter.

Recentemente il team di WARPLab ha pubblicato un articolo di ricerca sulla correzione della visione subacquea che aiuta a mitigare questi problemi e supporta il lavoro di CUREE. L’articolo descrive un modello chiamato DeepSeeColor che utilizza una sequenza di due reti neurali convoluzionali per ridurre il backscatter e correggere i colori in tempo reale sul NVIDIA Jetson Orin NX sott’acqua.

“Le GPU NVIDIA sono coinvolte in una gran parte del nostro processo perché, fondamentalmente, quando le immagini arrivano, utilizziamo DeepSeeColor per correggerne i colori, quindi possiamo rilevare i pesci e trasmettere tutto ciò a uno scienziato su una barca in superficie”, ha detto Stewart Jamieson, candidato al dottorato di ricerca in robotica presso il MIT e sviluppatore di intelligenza artificiale presso WARPLab.

Occhi e orecchie: Rilevamento di pesci e barriere coralline

CUREE è dotato di quattro telecamere frontali, quattro idrofoni per la registrazione audio sott’acqua, sensori di profondità e sensori di misurazione inerziale. Il GPS non funziona sott’acqua, quindi viene utilizzato solo per inizializzare la posizione di partenza del robot in superficie.

Utilizzando una combinazione di telecamere e idrofoni insieme a modelli di intelligenza artificiale eseguiti sul Jetson Orin NX, CUREE è in grado di raccogliere dati per produrre modelli tridimensionali di barriere coralline e terreni subacquei.

Per utilizzare gli idrofoni per la raccolta dati audio, CUREE deve scivolare senza l’utilizzo del motore in modo da non interferire con l’audio.

“Può creare una mappa sonora dello spazio della barriera, utilizzando i suoni prodotti da diversi animali”, ha detto Yogesh Girdhar, ricercatore associato presso WHOI, che guida WARPLab. “Attualmente (in post-processing), rileviamo dove si concentrano tutte le attività biologiche”, ha aggiunto, facendo riferimento ai rumori della vita marina.

Il team ha formato modelli di rilevamento per l’input audio e video per tracciare le creature. Ma un forte rumore interferisce con il rilevamento di campioni audio chiari da una particolare creatura.

“Il problema è che, sott’acqua, i gamberi mantide sono rumorosi”, ha detto Girdhar. Sulla terraferma, questo classico dilemma su come separare i suoni dai rumori di fondo è noto come il problema della festa di cocktail. “Se solo potessimo trovare un algoritmo per rimuovere gli effetti dei suoni dei gamberi mantide dall’audio, ma al momento non abbiamo una buona soluzione”, ha detto Girdhar.

Nonostante pochi set di dati sottomarini esistenti, ha detto Levi Cai, candidato al dottorato nel programma congiunto MIT-WHOI, la rilevazione e il tracciamento dei pesci stanno procedendo bene. Ha detto che stanno adottando un approccio semi-supervisionato al problema del tracciamento degli animali marini. Il tracciamento viene inizializzato utilizzando i bersagli rilevati da una rete neurale di rilevamento dei pesci addestrata su set di dati open-source per il rilevamento dei pesci, che viene affinata con il trasferimento di apprendimento dalle immagini raccolte da CUREE.

“Guidiamo manualmente il veicolo fino a quando non vediamo un animale che vogliamo tracciare, e poi clicchiamo su di esso e facciamo in modo che il tracker semi-supervisionato prenda il controllo da lì”, ha detto Cai.

L’efficienza energetica di Jetson Orin guida CUREE

L’efficienza energetica è fondamentale per i piccoli AUV come CUREE. I requisiti di calcolo per la raccolta dei dati consumano circa il 25% delle risorse energetiche disponibili, mentre la guida dei robot assorbe il resto.

CUREE opera tipicamente per un massimo di due ore con una carica, a seconda della missione sulla barriera corallina e dei requisiti di osservazione, ha detto Girdhar, che partecipa alle missioni di immersione a St. John nelle Isole Vergini statunitensi.

Per migliorare l’efficienza energetica, il team sta esaminando l’uso di intelligenza artificiale per gestire i sensori in modo che le risorse di calcolo rimangano attive automaticamente durante le osservazioni e si mettano in standby quando non sono in uso.

“Il nostro robot è piccolo, quindi la quantità di energia spesa per il calcolo GPU conta davvero – con Jetson Orin NX i nostri problemi di alimentazione sono scomparsi, ed è diventato molto più robusto il nostro sistema”, ha detto Girdhar.

Esplorando Isaac Sim per apportare miglioramenti

Il team WARPLab sta sperimentando NVIDIA Isaac Sim, un’applicazione di simulazione robotica scalabile e uno strumento generatore di dati sintetici alimentato da Omniverse, per accelerare lo sviluppo di autonomia e osservazione per CUREE.

L’obiettivo è quello di effettuare semplici simulazioni in Isaac Sim per ottenere l’essenza principale del problema da simulare e poi completare l’addestramento nel mondo reale sotto il mare, ha detto Yogesh.

“In un ambiente di barriera corallina, non possiamo fare affidamento sui sonar, dobbiamo avvicinarci davvero molto”, ha detto. “Il nostro obiettivo è osservare diversi ecosistemi e processi in corso”.

Comprendere gli ecosistemi e creare strategie di mitigazione

Il team WARPLab intende rendere la piattaforma CUREE disponibile ad altri per comprendere l’impatto degli esseri umani sugli ambienti sottomarini e contribuire a creare strategie di mitigazione.

I ricercatori intendono imparare dai modelli che emergono dai dati. CUREE fornisce uno scienziato per la raccolta di dati quasi completamente autonomo che può comunicare le scoperte agli studiosi umani, ha detto Jamieson. “Uno scienziato ottiene molto di più da questo rispetto a se il compito dovesse essere svolto manualmente, guidandolo e fissando uno schermo tutto il giorno”, ha detto.

Girdhar ha detto che gli ecosistemi come le barriere coralline possono essere modellati con una rete, con diversi nodi che corrispondono a diversi tipi di specie e tipi di habitat. All’interno di questo, ha detto, ci sono tutte queste diverse interazioni che avvengono, e i ricercatori cercano di capire questa rete per apprendere la relazione tra diversi animali e i loro habitat.

La speranza è che ci siano abbastanza dati raccolti utilizzando i CUREE AUV per acquisire una comprensione esaustiva degli ecosistemi e come potrebbero evolversi nel tempo e essere influenzati dai porti, dalle fuoriuscite di pesticidi, dalle emissioni di carbonio e dal turismo subacqueo, ha detto.

“Possiamo quindi progettare e attuare interventi migliori e determinare, ad esempio, come i nuovi coralli piantati cambierebbero la barriera corallina nel tempo”, ha detto Girdar.

Scopri di più su NVIDIA Jetson Orin NX, Omniverse e Earth-2.

Credito immagine: Austin Greene, Woods Hole Oceanographic Institution