AI Training AI GatorTronGPT alla frontiera delle innovazioni in AI medica dell’Università della Florida

Addestramento di AI GatorTronGPT all'avanguardia delle innovazioni in AI medica presso l'Università della Florida

Come addestrare un’intelligenza artificiale a comprendere il linguaggio clinico con meno dati clinici? Addestra un’altra intelligenza artificiale per sintetizzare i dati di addestramento.

L’intelligenza artificiale sta cambiando il modo in cui viene svolta la medicina e viene sempre più utilizzata in tutti i tipi di compiti clinici.

Questo è alimentato da IA generativa e modelli come GatorTronGPT, un modello linguistico generativo addestrato sul supercomputer di intelligenza artificiale HiPerGator dell’Università della Florida e descritto dettagliatamente in un articolo pubblicato su Nature Digital Medicine giovedì.

GatorTronGPT si unisce a un numero crescente di modelli di linguaggio di grandi dimensioni (LLM) addestrati sui dati clinici. I ricercatori hanno addestrato il modello utilizzando il framework GPT-3, utilizzato anche da ChatGPT.

• Questa ricerca sull’IA dalla Cina introduce 4K4D una rappresentazione in cloud a 4D dei punti che supporta la rasterizzazione hardware e consente una velocità di rendering senza precedenti.
• Questo articolo dell’AI del MIT esplora la scalabilità dei modelli di deep learning per la ricerca in chimica.
• Questa carta AI introduce l’apprendimento dagli errori (LeMa) migliorare il ragionamento matematico nei grandi modelli di linguaggio attraverso l’apprendimento basato sugli errori

Hanno utilizzato un enorme corpus di 277 miliardi di parole a questo scopo. I corpora di addestramento includevano 82 miliardi di parole da note cliniche disidentificate e 195 miliardi di parole da vari testi in inglese.

Ma c’è un’aggiunta: il team di ricerca ha utilizzato anche GatorTronGPT per generare un corpus di testo clinico sintetico con oltre 20 miliardi di parole di testo clinico sintetico, con prompt attentamente preparati. Il testo clinico sintetico si concentra su fattori clinici e appare esattamente come note cliniche reali scritte da medici.

Questi dati sintetici sono stati quindi utilizzati per addestrare un modello basato su BERT chiamato GatorTron-S.

In una valutazione comparativa, GatorTron-S ha mostrato un notevole rendimento in compiti di comprensione del linguaggio naturale clinico come l’estrazione di concetti clinici e l’estrazione di relazioni mediche, superando i record stabiliti dal modello basato su BERT originale, GatorTron-OG, che è stato addestrato sul set di dati clinici di 82 miliardi di parole.

In modo ancora più impressionante, è riuscito a farlo utilizzando meno dati.

Sia i modelli GatorTron-OG che GatorTron-S sono stati addestrati su 560 GPU Tensor Core NVIDIA A100 che utilizzano il pacchetto Megatron-LM NVIDIA sul supercomputer HiPerGator dell’Università della Florida. La tecnologia del framework Megatron LM utilizzata nel progetto è stata successivamente incorporata nel framework NVIDIA NeMo, che è stata centrale nei lavori più recenti su GatorTronGPT.

L’utilizzo di dati sintetici creati da LLM affronta diversi problemi. I LLM richiedono una grande quantità di dati e ci sono pochi dati medici di qualità disponibili.

Inoltre, i dati sintetici consentono l’addestramento del modello in conformità con le normative sulla privacy mediche, come l’HIPAA.

Il lavoro con GatorTronGPT è solo l’ultimo esempio di come i LLM – che hanno fatto irruzione sulla scena l’anno scorso con l’adozione rapida di ChatGPT – possano essere personalizzati per aiutare in un numero crescente di settori.

È anche un esempio dei progressi resi possibili dalle nuove tecniche di intelligenza artificiale alimentate da elaborazione accelerata.

L’iniziativa GatorTronGPT è l’ultimo risultato di una ambiziosa collaborazione annunciata nel 2020, quando l’Università della Florida e NVIDIA hanno presentato i piani per erigere il supercomputer di intelligenza artificiale più veloce al mondo nell’ambito accademico.

Questa iniziativa è stata motivata da una donazione di 50 milioni di dollari, una fusione dei contributi del fondatore di NVIDIA Chris Malachowsky e lo stesso NVIDIA.

Utilizzare l’IA per addestrare un’ulteriore IA è solo un esempio dell’impatto di HiPerGator, con il supercomputer che promette di alimentare molte altre innovazioni nelle scienze mediche e in varie discipline nell’intero sistema dell’Università della Florida.