MLCommons presenta MedPerf Una piattaforma open-source per il benchmarking dei modelli di intelligenza artificiale al fine di fornire efficacia clinica

MLCommons presenta MedPerf, una piattaforma open-source per benchmarking AI al fine di fornire efficacia clinica.

Valutare l’efficacia dei modelli di intelligenza artificiale su ampi e variegati set di dati del mondo reale è essenziale per la traduzione clinica dell’intelligenza artificiale medica. MedPerf, una piattaforma di benchmarking aperta, è stata annunciata da MLCommons, una comunità ingegneristica aperta a livello mondiale, per valutare in modo efficace i modelli di intelligenza artificiale su una vasta gamma di dati medici del mondo reale al fine di fornire efficacia clinica, proteggendo al contempo la privacy dei pazienti e riducendo al minimo le preoccupazioni legali e regolamentari.

I modelli di intelligenza artificiale medica possono sviluppare un involontario pregiudizio nei confronti di determinate popolazioni di pazienti se addestrati su dati provenienti da un piccolo sottoinsieme di impostazioni cliniche possibili. A causa della sua incapacità di generalizzare, l’intelligenza artificiale medica può avere meno effetto nel mondo reale. Tuttavia, a causa di considerazioni sulla privacy, legali e regolamentari, i proprietari dei dati sono restii a concedere l’accesso a set di dati più ampi e diversificati per l’addestramento dei modelli. MedPerf potenzia l’intelligenza artificiale medica eliminando il pregiudizio e aumentando la generalizzabilità e l’impatto clinico rendendo i dati provenienti da tutto il mondo comodamente e in modo sicuro accessibili ai ricercatori di intelligenza artificiale. 

Senza accesso ai dati dei pazienti, MedPerf consente alle organizzazioni sanitarie di valutare e convalidare i modelli di intelligenza artificiale in modo agevolato e supervisionato dall’uomo. I modelli di intelligenza artificiale medica vengono installati e revisionati in remoto presso i fornitori di dati, una funzionalità resa possibile dalla valutazione federata della piattaforma. Le preoccupazioni sulla privacy delle informazioni dei pazienti vengono alleviate e la fiducia viene rafforzata, tutto ciò contribuisce a una migliore cooperazione tra gli stakeholder sanitari.

• L’AI Act dell’UE stabilirà uno standard globale nella regolamentazione dell’IA, i paesi asiatici rimangono cauti
• Affinamento di LLaMA su documenti medici Incontra il modello PMC-LLaMA-A che raggiunge alte prestazioni sui benchmark di domande e risposte biomediche.
• Incontra ImageReward un modello rivoluzionario di testo-immagine che colma il divario tra le capacità di generazione dell’IA e i valori umani.

La capacità di MedPerf di orchestrare la valutazione di numerosi modelli di intelligenza artificiale con gli stessi collaboratori ci consente di farlo in ore anziché mesi. Questa efficacia è stata dimostrata nell’esperimento federato più grande sulla glioblastoma, la Federated Tumor Segmentation (FeTS) Challenge. La sfida FeTS ha utilizzato MedPerf per valutare 41 modelli distinti in 32 siti su 6 continenti.

Inoltre, una serie di prove pilota riflettenti la ricerca medica accademica ha confermato l’efficacia di MedPerf. La segmentazione dei tumori cerebrali, del pancreas e delle fasi di un flusso di lavoro chirurgico sono solo alcuni degli argomenti trattati in queste indagini in loco e basate su cloud. I risultati confermano che i benchmark di valutazione federata aiutano a progredire verso una cura medica abilitata dall’intelligenza artificiale più accessibile per tutti.

MedPerf promuove fast.ai e altre librerie di apprendimento automatico ampiamente utilizzate per la loro usabilità, adattabilità e prestazioni al fine di facilitare una più ampia adozione. Microsoft Azure OpenAI Services, Epic Cognitive Computing e i punti di inferenza HF sono solo alcune delle API supportate solo da API e modelli di intelligenza artificiale privati.

MedPerf è stato originariamente progettato per la radiografia, ma è una piattaforma ad uso generale che può essere applicata a qualsiasi campo della biomedicina. MedPerf può supportare varie attività, tra cui patologia digitale e omica, grazie al suo progetto gemello, GaNDLF, dedicato a semplificare la costruzione di pipeline di apprendimento automatico. Per colmare il divario nell’ingegneria dei dati e dare ai programmatori accesso a modelli di visione artificiale e elaborazione del linguaggio naturale pre-addestrati di ultima generazione, MedPerf sta creando esempi per le librerie specializzate a basso codice in patologie computazionali, come PathML o SlideFlow, Spark NLP e MONAI.

Il team spera che il loro lavoro aumenti la fiducia nell’intelligenza artificiale medica, acceleri la diffusione dell’apprendimento automatico in contesti clinici e alla fine consenta all’intelligenza artificiale medica di adattare la cura a ciascun paziente, ridurre i costi sanitari e migliorare la qualità della vita sia per i medici che per i pazienti.