Le migliori applicazioni di BERT che dovresti conoscere

Le migliori applicazioni di BERT

La preallenamento dei modelli di linguaggio ha notevolmente avanzato il campo dell’Elaborazione del Linguaggio Naturale (NLP) e della Comprensione del Linguaggio Naturale (NLU). È riuscito a migliorare con successo le prestazioni di varie attività di NLP, come l’analisi dei sentimenti, la risposta alle domande, l’inferenza del linguaggio naturale, il riconoscimento delle entità nominate e la similarità testuale. Modelli come GPT, BERT e PaLM stanno diventando popolari per tutte le buone ragioni. Imitano gli esseri umani generando contenuti accurati, rispondendo alle domande, riassumendo paragrafi di testo, traducendo lingue, e così via. Il noto modello BERT, che sta per Bidirectional Encoder Representations from Transformers, ha numerose applicazioni straordinarie.

BERTSUM

La sintesi del testo richiede una comprensione più profonda del linguaggio rispetto a parole e frasi. Ha lo scopo di ridurre un documento a una lunghezza gestibile mantenendo la maggior parte del suo significato. Due paradigmi di base che possono essere utilizzati per riassumere il testo sono estrattivo e astrattivo. Nel caso della sintesi estrattiva, il compito viene affrontato come un problema di classificazione binaria e il modello determina se includere o meno una determinata frase nel riassunto. D’altra parte, la sintesi astratta utilizza strumenti per la generazione del linguaggio al fine di fornire riassunti contenenti parole e frasi originali che non si trovano nel testo di origine.

• Ricercatori di NVIDIA e dell’Università di Tel Aviv introducono Perfusion una rete neurale compatta di 100 KB con tempi di addestramento efficienti.
• Rivoluzionare il design delle proteine come questa ricerca sull’IA ha aumentato i tassi di successo di 10 volte con miglioramenti di deep learning
• Decodifica del comportamento collettivo come l’inferenza bayesiana attiva alimenta i movimenti naturali dei gruppi di animali

Ricerche recenti indagano sul potenziale di BERT per la sintesi del testo. Il team ha proposto un encoder basato su BERT a livello di documento che può rappresentare sia il documento completo che le sue frasi componenti per raggiungere questo obiettivo. Per catturare le informazioni a livello di documento per l’estrazione delle frasi nel modello estrattivo, hanno impilato numerosi livelli di Transformer tra le frasi su questo encoder. Nel modello astrattivo, viene invece combinato lo stesso encoder BERT preallenato con un decoder Transformer con una inizializzazione casuale.

Ricerca intelligente di Google

Le ultime ricerche hanno utilizzato BERT per migliorare i risultati di ricerca di Google per una query specifica. In precedenza, una ricerca di “2019 Brasile viaggiatore per gli Stati Uniti ha bisogno di un visto” avrebbe fornito informazioni sui residenti americani che visitano il Brasile. D’altra parte, BERT consente al motore di ricerca di comprendere in modo più preciso la domanda e identificare l’utente come un viaggiatore brasiliano alla ricerca di informazioni sulle esigenze di visto per l’ingresso negli Stati Uniti. Di conseguenza, l’utente troverà i risultati di ricerca più utili e pertinenti.

L’integrazione di BERT nel motore di ricerca ha anche un impatto positivo sui frammenti in evidenza, che sono riassunti condensati di dati che appaiono nella parte superiore dei risultati di ricerca e rispondono in modo sintetico alla query dell’utente. Una migliore comprensione contestuale delle query, grazie a BERT, porta a frammenti in evidenza più accurati e, in definitiva, a una migliore esperienza utente. BERT non sostituisce le formule di ranking consolidate di Google, ma funge da strumento aggiuntivo per aiutare i motori di ricerca a comprendere più pienamente il contesto e il significato delle query di ricerca, consentendo loro di presentare risultati più pertinenti e consapevoli del loro contesto.

SciBERT

Un team di ricercatori dell’Allen Institute for Artificial Intelligence, Seattle, WA, USA, ha proposto SCIBERT, una risorsa unica creata per migliorare le prestazioni su una varietà di attività di NLP nel campo scientifico. Si basa su BERT ed è stato sviluppato utilizzando un corpus di materiale scientifico considerevole. L’idea è modificare BERT per aiutarlo a comprendere e gestire il linguaggio e il vocabolario particolari utilizzati nella scrittura scientifica.

Lo scopo di questo studio era quello di indagare le prestazioni delle architetture specifiche per le attività con embedding congelati rispetto al fine-tuning. Gli autori hanno esaminato SciBERT su una varietà di compiti nel campo scientifico e su molti di questi compiti hanno ottenuto nuovi risultati di stato dell’arte. Questo dimostra come SCIBERT funzioni per migliorare le prestazioni e la comprensione del linguaggio scientifico in diverse applicazioni di NLP.

BioBERT

Con l’aumento rapido del volume di documenti biomedici, il campo del text mining biomedico è diventato sempre più importante. Il deep learning è stato fondamentale nella creazione di modelli efficienti di text mining biomedico. Nelle ricerche recenti, il team si è concentrato su come BERT possa essere modificato per l’uso con corpora biologici. Hanno suggerito BioBERT (Bidirectional Encoder Representations from Transformers for Biomedical Text Mining) come soluzione a questo svantaggio. È stato preallenato un modello di rappresentazione del linguaggio specifico del dominio chiamato BioBERT utilizzando un corpus biomedico considerevole.

BERT sarà adattato per funzionare meglio con i testi biomedici al fine di affrontare compiti che coinvolgono il text mining biomedico. Sebbene BERT abbia prestazioni comparabili ai modelli di stato dell’arte precedenti, BioBERT li ha significativamente superati in tre compiti rappresentativi di text mining biomedico: riconoscimento delle entità biomediche, estrazione delle relazioni biomediche e risposta alle domande biomediche.

ClinicalBERT

Le note cliniche sono quelle che includono informazioni utili sul paziente che non sono contenute nei dati strutturati, come ad esempio i risultati dei test o le informazioni sulle prescrizioni. Poiché sono scarse e ad alta dimensionalità, è difficile individuare modelli e relazioni significative al loro interno. Un team di ricercatori ha analizzato il testo clinico utilizzando BERT per fare ciò. Sebbene il testo clinico differisca molto dai corpi tipici come Wikipedia e BookCorpus, i parametri BERT pubblicamente disponibili sono stati allenati su queste fonti. Il team ha pre-allenato BERT utilizzando note cliniche per adattarlo con successo alle caratteristiche uniche del linguaggio medico al fine di affrontare questo problema.

Un modello noto come ClinicalBERT è il risultato finale di questo processo di adattamento e fine-tuning. Questo modello è una risorsa utile per comprendere la scrittura clinica perché identifica correlazioni tra concetti medici che sono di alta qualità secondo i professionisti medici. Quando si prevede la riammissione in ospedale entro 30 giorni utilizzando sia i referti di dimissione che i primi giorni di note dell’unità di cure critiche, ClinicalBERT supera diversi baselines. Il modello si comporta meglio del previsto su diversi parametri di valutazione clinicamente rilevanti.

In conclusione, il popolare Large Language Model chiamato BERT ha molte applicazioni che possono essere utilizzate e offrire una prospettiva nuova per varie attività che richiedono molto tempo.