L’evoluzione di OpenAI una corsa verso GPT5

OpenAI's evolution a race towards GPT5

In passato, prevedevamo GPT5

Introduzione

Il campo dell’elaborazione del linguaggio naturale (NLP) ha registrato progressi significativi negli ultimi anni, con i modelli generativi basati su trasformatori preaddestrati (GPT) che emergono come alcuni dei modelli di linguaggio più potenti. Da allora, tutte le aziende non tecnologiche sperano di salire a bordo per ottenere una fetta dell’azione. Sviluppato da OpenAI, i modelli GPT hanno rivoluzionato il modo in cui affrontiamo i compiti di NLP. Ciò ha causato una sorta di corsa all’IA, dove ora giocatori come Claude, Anthropic, Bard, Apple e molti altri modelli di grandi dimensioni come Falcon, Orca, MPT, LLaMa e tutte le loro varianti si sono uniti con i loro mitragliatori. Questo articolo esplora il percorso evolutivo dei modelli GPT, dal loro inizio con GPT-1 all’avanguardia GPT-4, comprendendo importanti traguardi, progressi tecnici e applicazioni. Questo articolo esamina anche un po’ le finanze aziendali nel tempo, i cambiamenti nei termini e condizioni e persino l’impatto delle normative.

Iniziamo con le cose tecniche “più semplici” per prima

GPT-1: La Genesi

GPT-1, rilasciato nel giugno 2018. Era un modello di debutto. È stato costruito sull’architettura del trasformatore introdotta da Vaswani et al. nel 2017. Il famoso articolo “Attention is all you need” può essere trovato qui https://arxiv.org/abs/1706.03762. Era un modo rivoluzionario di convertire il testo in embedding (rappresentazioni numeriche del testo) che mantenevano l’attenzione su ciò che era accaduto prima nel testo in modo molto più approfondito. Il meccanismo di autoattenzione del trasformatore consente al modello di elaborare efficacemente dipendenze a lungo raggio nel testo, rendendolo altamente adatto per i compiti di NLP.

• Auto-attenzione nei trasformatori
• JupyterAI Intelligenza Artificiale Generativa + JupyterLab
• Cosa puoi fare quando l’intelligenza artificiale mente su di te?

GPT-1 aveva (solo) 117 milioni di parametri, rendendolo un formidabile modello di linguaggio all’epoca. Per l’utente occasionale, era in gran parte irrilevante a causa delle limitazioni. Ad esempio, il modello tendeva a generare testo ripetitivo, specialmente quando venivano forniti input al di fuori del suo set di dati di addestramento. Inoltre, non riusciva a ragionare su più turni di dialogo e non poteva tenere traccia delle dipendenze a lungo termine nel testo. Inoltre, la sua coesione e fluidità erano limitate solo a sequenze di testo più brevi e i passaggi più lunghi mancavano di coesione. Era tutto incentrato su nerd d’ogni genere.