Incontra ImpressionGPT un framework di ottimizzazione iterativa basato su ChatGPT per le sintesi dei resoconti di radiologia

Incontra ImpressionGPT, un framework di ottimizzazione iterativa per la sintesi dei resoconti di radiologia basato su ChatGPT.

La necessità di modelli di sintesi testuale efficaci e accurati aumenta man mano che il volume di informazioni testuali digitali si espande incredibilmente sia nei settori generale che medico. Sintetizzare il testo significa condensare un lungo scritto in una panoramica concisa mantenendo il significato e il valore del materiale. È stato un punto focale della ricerca di elaborazione del linguaggio naturale (NLP) per molto tempo.

Risultati positivi sono stati comunicati introducendo reti neurali e tecniche di apprendimento profondo, in particolare modelli sequenza-su-sequenza che utilizzano architetture encoder-decoder per la generazione di riassunti. Rispetto ai metodi basati su regole e statistica, i riassunti generati da questi approcci erano più naturali e appropriati dal punto di vista contestuale. L’impresa è resa più difficile dalla necessità di preservare le caratteristiche contestuali e relazionali di tali risultati e dalla volontà di precisione in contesti terapeutici.

ChatGPT è stato utilizzato e migliorato dai ricercatori per riassumere rapporti radiologici. Per sfruttare al meglio la capacità di apprendimento in contesto di ChatGPT e migliorarla continuamente attraverso l’interazione, è stato sviluppato e implementato un nuovo metodo di ottimizzazione iterativa utilizzando l’ingegneria rapida. Più precisamente, utilizziamo algoritmi di ricerca di similarità per costruire un prompt dinamico che incorpora rapporti preesistenti che sono semanticamente e clinicamente comparabili. ChatGPT viene addestrato con questi rapporti paralleli per comprendere le descrizioni testuali e i riassunti di manifestazioni di imaging simili.

• Case Study Parla ai tuoi dati usando l’interprete di codice in ChatGPT Plus
• Automazione dei compiti di apprendimento automatico come MLCopilot utilizza LLM per assistere gli sviluppatori nel razionalizzare i processi di apprendimento automatico
• Elenco di modelli di Intelligenza Artificiale conversazionale rivoluzionari e open-source nel dominio del linguaggio

Principali contributi

• La ricerca di similarità consente l’apprendimento in contesto di un Modello del Linguaggio (LLM) con dati sparsi. Viene sviluppato un prompt dinamico che include tutti i dati più rilevanti per LLM identificando i casi più comparabili nel corpus.

• Creiamo un sistema di prompt dinamico per una tecnica di ottimizzazione iterativa. Il prompt iterativo valuta prima le risposte generate da LLM e quindi fornisce ulteriori indicazioni per farlo nelle iterazioni successive.

• Un nuovo approccio all’ottimizzazione di LLM che sfrutta le informazioni specifiche del dominio. La metodologia suggerita può essere utilizzata quando è necessario sviluppare rapidamente ed efficacemente modelli specifici del dominio da un LLM esistente.

Metodi

Prompt Variabile

I campioni dinamici utilizzano la ricerca semantica per acquisire esempi da un corpus di rapporti comparabili al rapporto radiologico di input; la query finale comprende la stessa richiesta predefinita abbinata alla parte “Risultati” del rapporto di prova e la descrizione del compito ne definisce il ruolo.

Ottimizzazione tramite Iterazione

È possibile fare cose interessanti utilizzando il componente di ottimizzazione iterativa. Lo scopo di questo approccio è consentire a ChatGPT di perfezionare iterativamente la sua risposta attraverso l’uso di un prompt iterativo. Importante per applicazioni ad alto rischio come i riassunti dei rapporti radiologici, ciò richiede anche una procedura di revisione delle risposte per verificare la qualità delle risposte.

La fattibilità dell’utilizzo di modelli di linguaggio di grandi dimensioni (LLM) per riassumere i rapporti radiologici viene esaminata migliorando i prompt di input sulla base di un piccolo numero di campioni di addestramento e di un metodo iterativo. Il corpus viene esplorato alla ricerca di istanze appropriate per apprendere LLM in contesto, che vengono quindi utilizzati per fornire suggerimenti interattivi. Per migliorare ulteriormente l’output, viene utilizzata una tecnica di ottimizzazione iterativa. La procedura prevede l’insegnamento a LLM di cosa costituisce una risposta buona e negativa sulla base dei feedback di valutazione automatica. Rispetto ad altri approcci che utilizzano grandi quantità di dati di testo medico per il pre-addestramento, la nostra strategia si è dimostrata superiore. Inoltre, questo lavoro costituisce anche una base per costruire ulteriori modelli di linguaggio specifici del dominio nell’intelligenza artificiale generale moderna.

Lavorando sul framework iterativo di ImpressionGPT, ci siamo resi conto che valutare la qualità delle risposte generate dal modello è un compito essenziale ma difficile. I ricercatori ipotizzano che le grandi variazioni tra testi specifici del dominio e testi generici utilizzati per l’addestramento dei LLM contribuiscano alle discrepanze osservate nei punteggi. Pertanto, esaminare i dettagli dei risultati ottenuti viene migliorato mediante l’uso di misure di valutazione dettagliate.

Per includere meglio i dati specifici del dominio provenienti da fonti dati pubbliche e locali, continueremo a ottimizzare il design in futuro affrontando anche le questioni di privacy e sicurezza dei dati. Soprattutto quando si tratta di molte organizzazioni. Consideriamo inoltre l’uso di Knowledge Graph per adattare il design del prompt alla conoscenza del dominio attuale. Infine, pianifichiamo di coinvolgere specialisti umani, come i radiologi, nel processo iterativo di ottimizzazione dei prompt e nel fornire un feedback oggettivo sui risultati forniti dal sistema. Combinando il giudizio e la prospettiva degli specialisti umani nello sviluppo di LLM, possiamo ottenere risultati più precisi.