Sviluppo di strumenti AI affidabili per la sanità

Sviluppo di strumenti AI per la sanità

Nuove ricerche propongono un sistema per determinare l’accuratezza relativa dell’IA predittiva in un contesto medico ipotetico e quando il sistema dovrebbe deferire a un medico umano

L’intelligenza artificiale (IA) ha un grande potenziale per migliorare il modo in cui le persone lavorano in una serie di settori. Ma per integrare gli strumenti di IA sul luogo di lavoro in modo sicuro e responsabile, è necessario sviluppare metodi più robusti per capire quando possono essere più utili.

Quando l’IA è più accurata e quando lo è un essere umano? Questa domanda è particolarmente importante nel settore sanitario, dove l’IA predittiva viene sempre più utilizzata in compiti ad alto rischio per assistere i medici.

Oggi su Nature Medicine, abbiamo pubblicato il nostro articolo congiunto con Google Research, che propone CoDoC (Complementarity-driven Deferral-to-Clinical Workflow), un sistema di IA che impara quando fare affidamento sugli strumenti di IA predittiva o deferire a un medico per l’interpretazione più accurata delle immagini mediche.

CoDoC esplora come potremmo sfruttare la collaborazione tra l’IA e gli esseri umani in contesti medici ipotetici per ottenere i migliori risultati. In uno scenario di esempio, CoDoC ha ridotto del 25% il numero di falsi positivi per un ampio set di dati di mammografia del Regno Unito, de-identificati, rispetto ai flussi di lavoro clinici comunemente utilizzati, senza perdere alcun vero positivo.

• Creazione di un Chatbot con FalconAI, LangChain e Chainlit
• Questo articolo sull’IA da Stanford e Google introduce agenti generativi agenti computazionali interattivi che simulano il comportamento umano
• Incontra SegGPT un modello generalista che esegue compiti di segmentazione arbitraria in immagini o video tramite inferenza in contesto

Questo lavoro è una collaborazione con diverse organizzazioni sanitarie, tra cui l’Ufficio delle Nazioni Unite per i servizi di progetto Stop TB Partnership. Per aiutare i ricercatori a costruire sul nostro lavoro per migliorare la trasparenza e la sicurezza dei modelli di IA per il mondo reale, abbiamo anche reso open source il codice di CoDoC su GitHub.

CoDoC: Strumento aggiuntivo per la collaborazione tra l’IA e gli esseri umani

Per costruire modelli di IA più affidabili, spesso è necessario riprogettare le complesse dinamiche interne dei modelli di IA predittiva. Tuttavia, per molti operatori sanitari, non è semplicemente possibile ridisegnare un modello di IA predittiva. CoDoC può potenzialmente aiutare a migliorare gli strumenti di IA predittiva per gli utenti senza richiedere loro di modificare il modello di IA sottostante.

Nel processo di sviluppo di CoDoC, abbiamo avuto tre criteri:

• Gli esperti non specializzati nell’apprendimento automatico, come gli operatori sanitari, dovrebbero essere in grado di implementare il sistema e farlo funzionare su un singolo computer.
• La formazione richiederebbe una quantità relativamente piccola di dati, di solito solo qualche centinaio di esempi.
• Il sistema dovrebbe essere compatibile con qualsiasi modello di IA proprietario e non avrebbe bisogno di accedere alle dinamiche interne del modello o ai dati su cui è stato addestrato.

Determinare quando l’IA predittiva o un medico è più accurato

Con CoDoC, proponiamo un sistema di IA semplice e utilizzabile per migliorare l’affidabilità aiutando i sistemi di IA predittiva a “sapere quando non sanno”. Abbiamo esaminato scenari in cui un medico potrebbe avere accesso a uno strumento di IA progettato per aiutare a interpretare un’immagine, ad esempio, esaminando una radiografia del torace per determinare se è necessario un test per la tubercolosi.

Per qualsiasi contesto clinico teorico, il sistema di CoDoC richiede solo tre input per ogni caso nel set di dati di addestramento:

1. L’IA predittiva restituisce un punteggio di confidenza compreso tra 0 (certo che non è presente alcuna malattia) e 1 (certo che la malattia è presente).
2. L’interpretazione del medico dell’immagine medica.
3. La verità di riferimento sulla presenza o meno della malattia, ad esempio, stabilita tramite biopsia o altro follow-up clinico.

Nota: CoDoC non richiede alcun accesso a immagini mediche.

 

CoDoC impara a stabilire l’accuratezza relativa del modello predittivo di intelligenza artificiale rispetto all’interpretazione dei clinici, e come questa relazione fluttua con i punteggi di fiducia del modello predittivo di intelligenza artificiale.

Una volta addestrato, CoDoC potrebbe essere inserito in un ipotetico flusso di lavoro clinico futuro che coinvolge sia un’intelligenza artificiale che un medico. Quando una nuova immagine di un paziente viene valutata dal modello predittivo di intelligenza artificiale, il suo punteggio di fiducia associato viene inserito nel sistema. Quindi, CoDoC valuta se accettare la decisione dell’intelligenza artificiale o deferire a un medico porterà alla interpretazione più accurata.

Aumento dell’accuratezza e dell’efficienza

La nostra completa valutazione di CoDoC con più set di dati del mondo reale, inclusi solo dati storici e anonimi, ha mostrato che combinare il meglio dell’esperienza umana e i risultati predittivi dell’intelligenza artificiale porta a una maggiore accuratezza rispetto a entrambi da soli.

Oltre a ottenere una riduzione del 25% dei falsi positivi per un set di dati di mammografia, in simulazioni ipotetiche in cui veniva consentito all’intelligenza artificiale di agire autonomamente in determinate occasioni, CoDoC è riuscito a ridurre di due terzi il numero di casi che dovevano essere letti da un medico. Abbiamo anche mostrato come CoDoC potrebbe ipoteticamente migliorare la triage delle radiografie del torace per i test successivi per la tubercolosi.

Sviluppo responsabile di intelligenza artificiale per la sanità

Sebbene questo lavoro sia teorico, mostra il potenziale del nostro sistema di intelligenza artificiale di adattarsi: CoDoC è stato in grado di migliorare le prestazioni nell’interpretazione delle immagini mediche in diverse popolazioni demografiche, contesti clinici, attrezzature di imaging medicale utilizzate e tipi di malattia.

CoDoC è un esempio promettente di come possiamo sfruttare i vantaggi dell’intelligenza artificiale in combinazione con le competenze e l’esperienza umana. Stiamo lavorando con partner esterni per valutare rigorosamente la nostra ricerca e i potenziali benefici del sistema. Per portare tecnologie come CoDoC in modo sicuro in ambienti medici reali, i fornitori di assistenza sanitaria e i produttori dovranno anche comprendere come i medici interagiscono in modo diverso con l’intelligenza artificiale e convalidare i sistemi con strumenti specifici di intelligenza artificiale medica e impostazioni.

Scopri di più su CoDoC:

Scarica il codice di CoDoC su GitHub: http://github.com/deepmind/codoc

Leggi il nostro articolo su Nature Medicine: https://www.nature.com/articles/s41591-023-02437-x%20