Comprendere i grandi modelli di linguaggio La fisica di (Chat)GPT e BERT

Understanding the language models the physics of (Chat)GPT and BERT

Insight da un fisico su come particelle e forze possono aiutarci a capire i LLM.

ChatGPT, o più ampiamente, i Large Language AI Models (LLM), sono diventati ubiqui nella nostra vita. Tuttavia, la maggior parte delle conoscenze matematiche e delle strutture interne dei LLM sono oscure per il pubblico in generale.

Quindi, come possiamo andare oltre e non considerare i LLM come scatole nere magiche? La fisica potrebbe fornire una risposta.

Tutti sono in qualche modo familiari con il nostro mondo fisico. Oggetti come automobili, tavoli e pianeti sono composti da trilioni di atomi, governati da un semplice insieme di leggi fisiche. Allo stesso modo, organismi complessi, come ChatGPT, sono emersi e sono capaci di generare concetti altamente sofisticati come l’arte e la scienza.

Risulta che le equazioni dei mattoni di costruzione dei LLM sono analoghe alle nostre leggi fisiche. Così, capendo come la complessità nasce dalle nostre semplici leggi fisiche, potremmo essere in grado di ottenere qualche intuizione su come e perché funzionano i LLM.

• Aumentare l’affidabilità delle reti di sensori wireless tramite la taratura cieca
• Esecuzione di Llama 2 su CPU Inference localmente per Document Q&A
• Pandas per l’Analisi dei Dati

Complessità dalla semplicità

Il nostro mondo è intrinsecamente complesso, eppure può essere descritto da un numero sorprendentemente piccolo di interazioni fondamentali. Ad esempio, i complicati fiocchi di neve e le bolle di sapone possono essere collegati a semplici forze attrattive tra le molecole.

Allora, qual è la comunanza nella generazione di strutture complesse? In fisica, la complessità si genera quando ci spostiamo dalla scala più piccola a quella più grande.

Facendo un’analogia con il linguaggio, l’inglese inizia con un numero modesto di costituenti fondamentali: 26 lettere dell’alfabeto. Questi simboli possono combinarsi per formare circa 100.000 parole utilizzabili, ognuna con un significato distintivo. Da queste parole, possono essere generate una quantità infinita di frasi, passaggi, libri e volumi.

Questa gerarchia linguistica è simile a quelle trovate in fisica. La nostra attuale legge fondamentale (il Modello Standard) inizia con un numero limitato di particelle elementari come quark ed elettroni, insieme a…