Talmo Pereira sul potere dello strumento AI SLEAP per studi biologici e neurologici

Talmo Pereira on the power of the AI tool SLEAP for biological and neurological studies

Ringraziamo Talmo Pereira, borsista Salk presso l’Istituto Salk, per aver partecipato a questa intervista e per aver condiviso la sua storia e diverse intuizioni sullo sviluppo di metodi basati sull’IA per lo studio di sistemi biologici complessi. Il suo lavoro recente si concentra sulla quantificazione dei comportamenti attraverso la cattura del movimento senza marker utilizzando lo strumento SLEAP. Trova applicazioni in neuroscienze, ricerca sul cancro e biologia delle piante. SLEAP traccia i movimenti di animali, piante e esseri umani, aiutando la previsione delle malattie e la mitigazione dei cambiamenti climatici. Pereira immagina di utilizzare l’IA per diagnosticare precocemente le malattie analizzando i modelli comportamentali nei video.

Contesto di ricerca, contributi alla fenotipizzazione quantitativa e sfide nella comprensione del comportamento

Dove lavoravi prima di entrare a far parte dell’Istituto Salk?

Prima di entrare a Salk, stavo facendo il mio dottorato in neuroscienze presso l’Università di Princeton con Mala Murthy e Josh Shaevitz e ho lavorato presso Google AI come dottorando di ricerca. Il mio focus era lo sviluppo di metodi di computer vision per catturare il movimento e quantificare il comportamento dai video.

In che modo il tuo recente lavoro ha contribuito al campo della fenotipizzazione quantitativa di comportamenti complessi?

Il mio lavoro recente si è concentrato sul problema della cattura del movimento senza marker, anche noto come tracciamento della posa. Proprio come i costumi di cattura del movimento vengono utilizzati a Hollywood per tracciare i movimenti delle parti del corpo degli attori al fine di creare sequenze CGI, l’idea con la cattura del movimento senza marker è fare la stessa cosa, ma senza il costume!

Questo è un compito complesso per i computer, ma è diventato molto più gestibile con l’avvento delle reti neurali profonde, la base dell’IA moderna. Uno dei motivi per cui queste reti funzionano così bene è che possono imparare da enormi quantità di dati, in questo caso, milioni di immagini di persone in una varietà di ambienti che sono state annotate manualmente da lavoratori tramite crowd che hanno cliccato sulla posizione “vera” di ciascuna parte del corpo.

Una volta che abbiamo una rete neurale addestrata per tracciare le parti del corpo nelle sequenze video, possiamo utilizzare i modelli di movimento per inferire i fenotipi quantitativi di comportamenti complessi, ad esempio, per rilevare quando un individuo sta correndo rispetto a quando si gratta la testa e una descrizione statistica di come muovono esattamente le parti del corpo per farlo.

Qual è la principale sfida nella comprensione del comportamento animale e umano in neuroscienze?

Ci sono molte sfide nell’interpretazione del comportamento, ma una chiave che queste approcci di intelligenza artificiale risolvono è come misurarlo in modo quantitativo. Catturando i movimenti che sottostanno al comportamento, possiamo ideare modi per rilevare automaticamente l’occorrenza di comportamenti noti come la pulizia o il salto. Possiamo quindi correlare il tempo o la frequenza dei comportamenti noti con variabili sperimentali, come ad esempio se l’individuo ha o meno una malattia, al fine di stabilire un collegamento tra biologia e comportamento osservabile. Negli animali, ciò è più facilmente verificabile perché possiamo controllare le condizioni ambientali in cui si trova l’animale, registrarle per un periodo più lungo e fare ulteriori esperimenti per misurare gli stati interni del loro cervello e del loro corpo per convalidare le associazioni con i modelli di comportamento.

Un problema più difficile è definire cosa sia il comportamento in primo luogo. Ad esempio, dove tracciamo la linea tra una “camminata veloce” e una “corsa lenta” se entrambe ti consentono di muoverti avanti alla stessa velocità? (Se sei interessato, Calhoun et al esplorano esempi ancora più difficili, come “Una persona suda in risposta all’aria calda. È questo un comportamento?”) Sono emersi alcuni metodi, come Keypoint-MoSeq (Weinreb et al, 2023), che consentono di sfruttare il tracciamento della posa per definire comportamenti basati esclusivamente su modelli statistici dei dati. Questi hanno la promessa di essere più oggettivi ma ancora mancano della capacità di incorporare conoscenze su distinzioni chiare e note su cosa sia un comportamento.

In entrambi i casi, avendo il tracciamento della posa come rappresentazione di partenza e inconfondibile dei movimenti sottostanti i comportamenti, partiamo da un punto di partenza molto migliore rispetto a cercare di identificare “comportamenti” solo dai dati pixel poiché ci fornisce informazioni dirette su come le parti del corpo si muovono, che alla fine è come il cervello produce (molte forme di) comportamento.

SLEAP: Sfruttare l’Intelligenza Artificiale per una Tecnologia Innovativa di Tracciamento del Movimento

Come utilizza SLEAP l’intelligenza artificiale?

SLEAP è un software open-source per il tracciamento delle pose multi-animali che utilizza reti neurali profonde, un algoritmo centrale nell’intelligenza artificiale moderna, per imparare come tracciare automaticamente le pose nelle immagini. Lo fa apprendendo dagli esempi forniti dagli utenti su dove ogni parte del corpo dovrebbe trovarsi in un set di immagini di addestramento.

Una delle principali innovazioni di SLEAP è la capacità di addestrare questi modelli di reti neurali con set di addestramento molto piccoli, nell’ordine delle decine o centinaia di immagini, dimostrando che è possibile utilizzare questa forma di intelligenza artificiale senza richiedere le risorse di un laboratorio industriale per generare il set di addestramento. Ciò rende possibile utilizzare praticamente la cattura del movimento senza marker su una varietà di dataset che si osservano negli studi sul comportamento animale.

Qual è la principale innovazione dello strumento SLEAP?

SLEAP è un framework piuttosto che un singolo modello o metodo. Questo è motivato dall’osservazione che esistono molti dataset complessi con proprietà uniche. Invece di cercare un algoritmo che funzioni per tutto, SLEAP implementa una varietà di algoritmi, ognuno con i propri compromessi e adatto a ogni caso d’uso. Ad esempio, se sono visibili più soggetti nell’immagine, potrebbe essere necessario utilizzare un algoritmo che possa ragionare su come le parti del corpo rilevate dovrebbero essere associate tra loro per formare pose distinte, mentre per i dati con soggetti singoli è sufficiente rilevare la posizione di ogni parte del corpo e si saprà a quale individuo appartengono.

Abbiamo dedicato molto lavoro per rendere SLEAP facile da usare e accessibile, sia semplificandone l’installazione che l’utilizzo senza bisogno di competenze tecniche. Di conseguenza, abbiamo avuto utenti di tutti i tipi utilizzare SLEAP, dai liceali che lo usano per la loro ricerca e progetti scientifici, ai ricercatori biologici professionisti senza una formazione in intelligenza artificiale.

Per rendere ciò possibile, combiniamo pratiche di ingegneria del software di livello industriale con software open-source e scientifico di alto livello come TensorFlow, attrs e PySide2.

Puoi fornire esempi di come lo strumento SLEAP viene utilizzato negli studi sul comportamento animale?

SLEAP è stato utilizzato in numerosi studi sugli animali per estrarre metriche quantitative di comportamenti di interesse.

  • In Mills et al. (2023), SLEAP è stato utilizzato per caratterizzare il comportamento sociale dei topi al fine di studiare come i circuiti neurali determinano se gli stimoli sensoriali devono essere interpretati come “buoni” o “cattivi”.
  • In Mabuchi et al. (2023), SLEAP è stato utilizzato per quantificare il comportamento del corteggiamento per capire come le mosche della frutta utilizzano le informazioni visive per dirigere i loro movimenti in un contesto sociale.
  • In Legan et al. (2022), SLEAP è stato utilizzato per studiare come le vespe di carta passano a uno stato più “vigile” dopo incontri aggressivi.
  • In Leonardis et al. (2022), SLEAP è stato utilizzato per misurare come i ratti interagivano con un “ratto robot” in uno studio sulle basi delle interazioni sociali.
  • In Gutierrez-Castellanos et al. (2023), SLEAP è stato utilizzato per quantificare i comportamenti di “rifiuto” nelle femmine di topi nel contesto di uno studio sui circuiti neurali influenzati dagli ormoni del ciclo riproduttivo.

Questi sono solo alcuni esempi recenti per evidenziare la diversità delle aree di applicazione, delle domande scientifiche e delle specie con cui SLEAP è stato utilizzato.

Come contribuisce lo strumento SLEAP alla predizione delle malattie e agli sforzi di mitigazione del clima?

Dal momento che mi sono unito al Salk, una delle aree su cui il mio laboratorio si è concentrato è come tradurre i dati di cattura del movimento in informazioni sulla biologia.

Per quanto riguarda la predizione delle malattie, abbiamo lavorato con diversi collaboratori per sviluppare flussi di lavoro analitici che possono essere utilizzati per estrarre automaticamente fenotipi che possono essere predittivi dell’insorgenza e della progressione delle malattie. Ad esempio, in uno studio pilota che ha misurato i cambiamenti comportamentali associati alla sclerosi laterale amiotrofica (ALS), una malattia neurodegenerativa che porta alla perdita di coordinazione motoria e, alla fine, alla morte, abbiamo scoperto che possiamo rilevare chiari marker quantitativi della malattia in topi non addestrati che vivono nel loro ambiente standard di gabbia domestica in modo completamente automatizzato. Stiamo ora lavorando per creare una caratterizzazione completa di tutti i comportamenti associati alle diverse fasi di questa e di altre malattie, tra cui il cancro al pancreas e la malattia di Alzheimer.

Un’altra area di applicazione su cui ci siamo concentrati, resa possibile dall’ambiente interdisciplinare unico di Salk, è la biologia delle piante per il cambiamento climatico. Salk è la sede dell’Iniziativa Harnessing Plants, un’azione di gruppo multiplo per contrastare il cambiamento climatico sviluppando piante coltivate con radici più profonde e più massicce, il che comporta un miglior sequestro del carbonio poiché il biossido di carbonio viene convertito in materia vegetale nel terreno. Sebbene si sappia molto sulla biologia dello sviluppo delle radici delle piante, c’era bisogno di metodi più automatizzati e affidabili per caratterizzare quantitativamente l’architettura del sistema radicale. Abbiamo applicato SLEAP a questi dati e ora stiamo cercando di sviluppare strumenti per estrarre caratteristiche significative come gli angoli di ramificazione e le profondità delle radici che possono essere utilizzate per caratterizzare piante con capacità di sequestro del carbonio migliorato.

Guardando avanti…

Come immagini l’uso futuro dell’IA nella diagnosi del cancro e della SLA negli esseri umani?

Mentre sviluppiamo una migliore comprensione di come cambiamenti sottili o definiti statisticamente nel linguaggio del corpo siano correlati alle malattie, speriamo di applicare lo stesso tipo di intelligenza artificiale che utilizziamo in SLEAP per rilevare malattie come il cancro e la SLA negli esseri umani. Questo richiederà una significativa convalida clinica prima di poter essere utilizzato come strumento diagnostico affidabile, ma data la facilità e la convenienza di registrare video, speriamo che un giorno saremo in grado di estrarre le firme comportamentali delle malattie dai video che puoi registrare sul tuo smartphone. Se fatto correttamente, ciò potrebbe ridurre drasticamente il carico sul nostro sistema sanitario e consentire uno screening e una prevenzione molto più precoci delle malattie che sono più facili da trattare nelle fasi iniziali.