I ricercatori di Microsoft propongono MAIRA-1 un modello multimodale specifico per la radiologia per la generazione di rapporti radiologici da radiografie del torace (CXR).

I ricercatori di Microsoft presentano MAIRA-1 un modello multimodale specifico per la radiologia per generare rapporti radiologici da radiografie del torace (CXR).

Il team di ricercatori di Microsoft ha affrontato il problema di generare rapporti di alta qualità per le radiografie del torace (CXR) sviluppando un modello multimodale specifico per la radiologia chiamato MAIRA-1. Il modello utilizza un codificatore di immagini specifico per le CXR e un LLM ottimizzato in base a Vicuna-7B e un’augmentazione dei dati basata sul testo, concentrandosi sulla sezione delle Trovate. Lo studio riconosce le sfide e suggerisce che le future versioni potrebbero incorporare informazioni sullo studio attuale e precedente per ridurre l’allucinazione delle informazioni.

I metodi esistenti esplorati nello studio coinvolgono l’utilizzo di LLM che possiedono capacità multimodali, come PaLM e Vicuna-7B, per creare rapporti radiologici narrativi a partire dalle radiografie del torace. Il processo di valutazione include metriche di NLP tradizionali come ROUGE-L e BLEU-4 e metriche specifiche per la radiologia che si concentrano sugli aspetti clinicamente rilevanti. Lo studio sottolinea l’importanza di fornire descrizioni dettagliate delle scoperte. Evidenzia il potenziale dell’apprendimento automatico nella generazione di rapporti radiologici, affrontando anche i limiti delle pratiche di valutazione attuali.

Il metodo MAIRA-1 combina modelli visivi e linguistici per generare rapporti radiologici dettagliati a partire dalle radiografie del torace. Questo approccio affronta le sfide specifiche legate alla generazione di rapporti clinici ed è valutato utilizzando metriche che misurano la qualità e la rilevanza clinica. I risultati dello studio suggeriscono che il metodo MAIRA-1 può migliorare l’accuratezza e l’utilità clinica dei rapporti radiologici, rappresentando un passo avanti nell’utilizzo dell’apprendimento automatico per l’imaging medico.

• Top 15 database di vettori che devi provare nel 2024
• Questo articolo sull’IA dell’Università del Nord-est e del MIT sviluppa cursori di concetto interpretabili per un miglior controllo della generazione delle immagini nei modelli di diffusione.
• Google DeepMind introduce GNoME un nuovo strumento di apprendimento profondo che aumenta drasticamente la velocità e l’efficienza della scoperta prevedendo la stabilità di nuovi materiali.

Il metodo proposto, MAIRA-1, è un modello multimodale specifico per la radiologia per la generazione di rapporti radiografici del torace. Il modello utilizza un codificatore di immagini CXR, un adattatore apprendibile e un LLM (Vicuna-7B) ottimizzato per fondere immagine e linguaggio per una migliore qualità del rapporto e utilità clinica. Utilizza un’augmentazione dei dati basata sul testo con GPT-3.5 per ulteriori rapporti per migliorarne ulteriormente la formazione. Le metriche di valutazione includono misure di NLP tradizionali (ROUGE-L, BLEU-4, METEOR) e metriche specifiche per la radiologia (RadGraph-F1, RGER, vettore ChexBert) per valutare la rilevanza clinica.

MAIRA-1 ha mostrato miglioramenti significativi nella generazione di rapporti radiografici del torace, come dimostrato dai miglioramenti nella metrica RadCliQ e nelle metriche lexicali allineate agli radiologi. Le prestazioni del modello variano a seconda delle classi di scoperta, con successi e sfide osservate. MAIRA-1 ha efficacemente rivelato modalità di fallimento sfumate non catturate dalle pratiche standard di valutazione, come dimostrato dalle metriche di valutazione che coprono aspetti sia linguistici che specifici per la radiologia. MAIRA-1 fornisce una valutazione completa dei rapporti radiografici del torace.

In conclusione, MAIRA-1 è un modello altamente efficace per la generazione di rapporti radiografici del torace, superando modelli esistenti con il suo codificatore di immagini specifico del dominio e la capacità di identificare le scoperte sfumate in modo fluente e accurato. Tuttavia, è importante considerare i limiti delle pratiche esistenti e l’importanza del contesto clinico nella valutazione dei risultati. Sono consigliati set di dati diversificati e immagini multiple per migliorare ulteriormente il modello.

Le future iterazioni di MAIRA-1 potrebbero incorporare informazioni da studi attuali e precedenti per mitigare la necessità di allucinazione nei rapporti generati, come mostrato in precedenti lavori con GPT-3.5. Affrontando la dipendenza da modelli esterni per l’estrazione di entità cliniche, gli sforzi futuri potrebbero esplorare approcci di apprendimento di rinforzo per ottimizzare la rilevanza clinica. Si consiglia una formazione potenziata su set di dati più ampi e diversificati e la considerazione di immagini e visualizzazioni multiple per affinare ulteriormente le prestazioni di MAIRA-1 nella generazione di scoperte specifiche per la radiologia sfumate.