Questa ricerca sull’Intelligenza Artificiale AI propone SAM-Med2D gli studi più completi sull’applicazione di SAM alle immagini mediche 2D

This AI research proposes SAM-Med2D, the most comprehensive studies on the application of SAM to 2D medical images.

Riconoscendo e separando i diversi tessuti, organi o regioni di interesse, la segmentazione delle immagini mediche è essenziale per lo studio delle immagini mediche. Per una diagnosi e terapia più precise, i medici possono utilizzare una segmentazione accurata per aiutarli a individuare e localizzare accuratamente le regioni affette da malattie. Inoltre, l’analisi quantitativa e qualitativa delle immagini mediche fornisce una visione approfondita della morfologia, struttura e funzione dei vari tessuti o organi, consentendo lo studio delle malattie. A causa delle peculiarità dell’imaging medico, come la vasta gamma di modalità, l’architettura complicata dei tessuti e degli organi e l’assenza di dati annotati, la maggior parte degli approcci esistenti è limitata a determinate modalità, organi o patologie.

A causa di questa limitazione, gli algoritmi sono difficili da generalizzare e modificare per l’utilizzo in contesti clinici diversi. L’orientamento verso modelli su larga scala ha recentemente suscitato entusiasmo nella comunità dell’AI. Lo sviluppo di modelli AI generali come ChatGPT2, ERNIE Bot 3, DINO, SegGPT e SAM rende possibile l’utilizzo di un singolo modello per diverse attività. Con SAM, il modello di visione su larga scala più recente, gli utenti possono creare maschere per determinate regioni di interesse facendo clic in modo interattivo, disegnando bounding box o utilizzando indicazioni verbali. È stata prestata particolare attenzione alle sue capacità zero-shot e few-shot su foto naturali in vari campi.

Alcuni sforzi si sono concentrati anche sulla capacità zero-shot di SAM nel contesto dell’imaging medico. Tuttavia, SAM trova difficoltà a generalizzare a dataset medici multi-modalità e multi-oggetto, con conseguente variazione delle prestazioni di segmentazione tra i dataset. Ciò è dovuto a una notevole differenza di dominio tra le immagini naturali e quelle mediche. La causa può essere collegata ai metodi utilizzati per raccogliere i dati: a causa del loro scopo clinico specifico, le immagini mediche vengono ottenute utilizzando protocolli e scanner particolari e visualizzate come diverse modalità (elettroni, laser, raggi X, ultrasuoni, fisica nucleare e risonanza magnetica). Di conseguenza, queste immagini si discostano notevolmente dalle immagini reali poiché dipendono da diverse caratteristiche basate sulla fisica e fonti di energia.

• Microsoft deposita un brevetto sul suo nuovo zaino intelligente alimentato dall’intelligenza artificiale che non solo ti ascolta, ma vede anche ciò che tu vedi.
• Questa ricerca sull’IA svela ComCLIP un metodo senza addestramento per l’allineamento compositivo di immagini e testi
• Questo articolo sull’IA propone un metodo di generazione di memoria ricorsiva per migliorare la coerenza conversazionale a lungo termine in grandi modelli di linguaggio

Le immagini naturali e mediche differiscono significativamente per intensità dei pixel, colore, texture e altre caratteristiche di distribuzione, come si può vedere nella Figura 1. Poiché SAM è addestrato solo su foto naturali, ha bisogno di informazioni più specializzate riguardo all’imaging medico, quindi non può essere applicato immediatamente al settore medico. Fornire a SAM informazioni mediche è una sfida a causa dell’elevato costo di annotazione e della qualità di annotazione non uniforme. La preparazione dei dati medici richiede competenze specifiche e la qualità di questi dati varia notevolmente tra istituzioni e studi clinici. La quantità di immagini mediche e naturali varia notevolmente a causa di queste difficoltà.

Il grafico a barre nella Figura 1 confronta il volume dei dati dei dataset di immagini naturali disponibili pubblicamente e dei dataset di immagini mediche. Ad esempio, Totalsegmentor, il più grande dataset di segmentazione pubblica nel dominio medico, ha anche un divario significativo rispetto a Open Image v6 e SA-1B. In questo studio, l’obiettivo è trasferire SAM dalle immagini naturali alle immagini mediche. Ciò fornirà modelli di riferimento e framework di valutazione per i ricercatori nell’analisi delle immagini mediche per esplorare e migliorare. Per raggiungere questo obiettivo, i ricercatori dell’Università di Sichuan e del Laboratorio di Intelligenza Artificiale di Shanghai hanno proposto SAM-Med2D, lo studio più completo sull’applicazione di SAM alle immagini mediche 2D.