L’architettura Transformer dei modelli GPT

Architettura Transformer di GPT

Scopri i dettagli dell’architettura Transformer

Nel 2017, gli autori di Google hanno pubblicato un articolo chiamato Attention is All You Need in cui hanno introdotto l’architettura Transformer. Questa nuova architettura ha ottenuto un successo senza precedenti nei compiti di traduzione linguistica, e l’articolo è diventato rapidamente una lettura essenziale per chiunque fosse immerso nell’ambito. Come molti altri, quando ho letto l’articolo per la prima volta, ho potuto vedere il valore delle sue idee innovative, ma non mi rendevo conto di quanto disturbante sarebbe stato per altre aree all’interno del più ampio campo dell’IA. Nel giro di pochi anni, i ricercatori hanno adattato l’architettura Transformer a molti compiti diversi dalla traduzione linguistica, tra cui la classificazione delle immagini, la generazione delle immagini e i problemi di piegatura delle proteine. In particolare, l’architettura Transformer ha rivoluzionato la generazione di testo e ha aperto la strada ai modelli GPT e alla crescita esponenziale che stiamo vivendo attualmente nell’ambito dell’IA.

Dato quanto pervasivi sono i modelli Transformer in questi giorni, sia nell’industria che nell’accademia, capire i dettagli di come funzionano è una competenza importante per ogni professionista dell’IA. Questo articolo si concentrerà principalmente sull’architettura dei modelli GPT, che sono costruiti utilizzando un sottoinsieme dell’architettura Transformer originale, ma coprirà anche il Transformer originale alla fine. Per il codice del modello, partirò dall’implementazione più chiaramente scritta che ho trovato per il Transformer originale: The Annotated Transformer dell’Università di Harvard. Manterrò le parti pertinenti a un transformer GPT e rimuoverò quelle che non lo sono. Lungo il percorso, eviterò di apportare modifiche non necessarie al codice, in modo che tu possa facilmente confrontare la versione GPT-like del codice con l’originale e comprendere le differenze.

Questo articolo è destinato a data scientist e ingegneri di machine learning esperti. In particolare, suppongo che tu sia ben versato nell’algebra tensoriale, che tu abbia implementato reti neurali da zero e che tu sia a tuo agio con Python. Inoltre, anche se ho fatto del mio meglio per rendere questo articolo autonomo, sarà più facile per te comprenderlo se hai letto il mio articolo precedente su Come funzionano i modelli GPT.

Il codice in questo post può essere trovato nel progetto associato su GitHub.

• Svelare il pattern di progettazione delle reti neurali informate dalla fisica Parte 07
• Hacking della funzione JSON_ARRAYAGG di MySQL per creare dimensioni dinamiche e multi-valore
• Gli autori si uniscono contro le aziende di intelligenza artificiale cercano rispetto e pagamento per il lavoro con copyright