GPT-4 può risolvere problemi matematici — ma non in tutte le lingue

GPT-4 può risolvere problemi matematici — ma non in tutte le lingue' - L'ultima innovazione nel campo dell'intelligenza artificiale GPT-4 può risolvere problemi matematici, ma con alcune limitazioni linguistiche

Alcuni esperimenti per far risolvere a GPT-4 problemi matematici in 16 diverse lingue

Immagine creata dall'autore usando Midjourney.

Introduzione

Si dice che la matematica sia un linguaggio universale – i concetti matematici, i teoremi e le definizioni possono essere espressi come simboli comprensibili indipendentemente dalla lingua.

In questo articolo, testo le capacità matematiche di GPT-4 in sedici diverse lingue.

I primi esperimenti hanno dimostrato che GPT-4 ottiene punteggi elevati nei test di matematica del SAT e di calcolo AP e in matematica di livello universitario. Tuttavia, la maggior parte di questi esperimenti testa le capacità matematiche di GPT-4 solo in inglese. Per comprendere meglio le capacità matematiche di GPT-4 oltre l’inglese, lo provo con gli stessi problemi matematici in altre quindici lingue.

Quindi, quanto è bravo GPT-4 in matematica in diverse lingue? In teoria, dovrebbe essere altrettanto bravo (o cattivo) in tutte le lingue, ma purtroppo (come avrai immaginato), questo non è il caso. GPT-4 è molto meglio nel risolvere problemi matematici in inglese. A seconda della lingua, GPT-4 potrebbe risolvere alcuni problemi. Tuttavia, per lingue tradizionalmente poco supportate, come il birmano e l’amharico, GPT-4 non è stato in grado di risolvere i problemi che gli ho proposto.

Su Project Euler

Utilizzo problemi matematici dal sito web di Project Euler per testare GPT-4. (Questo è anche un richiamo a uno dei miei miei articoli precedenti di quest’anno, dove ho utilizzato il prompt engineering usando ChatGPT per risolvere alcuni problemi di Project Euler). Project Euler, intitolato al matematico omonimo, è un sito web con centinaia di problemi matematici e di programmazione informatica di varia difficoltà. Iniziato nel 2001, vantano oltre 850 problemi (al 2023) e pubblicano una nuova domanda approssimativamente ogni settimana.

La cosa fantastica dei problemi di Project Euler è che ogni problema ha una risposta numericamente “corretta” – questo rende facile verificare se la risposta di GPT-4 è oggettivamente corretta o meno. Inoltre, tendono ad essere molto più complessi rispetto ai problemi matematici di scuola superiore o università. Attualmente, non esiste un’ampia comprensione complessiva delle capacità matematiche di GPT-4 (o di altri grandi modelli di linguaggio, per la verità)…