Transformers e Posizionamento dell’Incorporamento Un Tutorial NLP Passo dopo Passo per la Padronanza

Transformers e Posizionamento dell'Incorporamento Un Tutorial NLP Passo dopo Passo

Introduzione all’architettura dei Transformers che copre i principali componenti, vantaggi, svantaggi, limitazioni, ecc. In questa parte, copriremo il livello PositionalEmbedding

Sto iniziando una nuova serie di tutorial sugli Transformers. Li implementerò passo dopo passo in TensorFlow, spiegando tutte le parti. Tutti i livelli creati saranno inclusi nelle Utility di Allenamento di Machine Learning (“mltu” libreria PyPi), in modo che possano essere facilmente riutilizzati in altri progetti.

Alla fine di questi tutorial, creerò esempi pratici di addestramento e utilizzo di Transformer in compiti di NLP.

In questo tutorial, passerò attraverso i passaggi per implementare il modello Transformer del paper “Attention is All You Need” per il compito di traduzione automatica. Il modello si basa sull’architettura Transformer (self-attention), un’alternativa alle reti neurali ricorrenti (RNN). Il modello Transformer è più semplice delle tradizionali reti neurali ricorrenti ed ha raggiunto risultati allo stato dell’arte nei compiti di traduzione automatica.

Indice:

Introduzione all’architettura Transformer;
Implementazione del livello di incorporamento posizionale;
Implementazione dei livelli di attenzione;
Implementazione dei livelli di codifica e decodifica;
Costruzione del modello Transformer;
Pre-elaborazione dei dati per il compito di traduzione automatica;
Addestramento e valutazione del modello;
Esecuzione di inferenza su nuovi dati con un modello addestrato.

Introduzione all’architettura Transformer

CNN e RNN vs. Transformers

Se stavi seguendo il mio blog, di recente mi sono concentrato su CNN e RNN, ma non ho ancora trattato i Transformers. Quindi, qual è la differenza tra…

Transformers e Posizionamento dell’Incorporamento Un Tutorial NLP Passo dopo Passo per la Padronanza