Può l’autoformalizzazione colmare il divario tra linguaggio informale e formale? Incontra MMA un dataset multilingue e multi-dominio che sta rivoluzionando il campo.

La self-styling può colmare il divario tra linguaggio formale e informale? Scopri MMA, un dataset multilingue e multi-dominio che sta rivoluzionando il settore.

“`html

Il contenuto matematico descritto in un linguaggio formale che può essere verificato meccanicamente tramite computer è chiamato matematica standard. I matematici utilizzano linguaggi formali, che sono integrati con strumenti per la correzione delle prove, come HOL Light, Isabelle, Coq e Lean. Convertire fonti in linguaggio naturale in formalizzazioni verificabili è conosciuto come autoformalizzazione. Verificare le conclusioni matematiche attuali può diventare meno costoso utilizzando un motore di autoformalizzazione ottimale. Ciò consente ai domini di studio della ragionamento automatizzato che si basano su linguaggi formali, come la dimostrazione automatizzata di teoremi, di accedere alla grande quantità di matematica scritta in linguaggio semplice. L’ambizione di convertire automaticamente la matematica informale in materiale provabile formalmente è antica quanto la matematica standard stessa.

L’autoformalizzazione potrebbe essere insegnata solo di recente grazie ai progressi nelle reti neurali e nella traduzione automatica neurale. Solitamente sono necessari ampi dataset paralleli composti da coppie di sequenze che trasmettano lo stesso significato sia nella lingua di origine che in quella di destinazione per le tecniche NMT. Costruire un dataset parallelo sia in linguaggio formale che naturale che soddisfi contemporaneamente due requisiti – ovvero che il numero di punti dati sia sufficiente per i metodi di apprendimento automatico che richiedono una grande quantità di dati e che il componente di linguaggio naturale sia simile a come viene scritta la matematica – è l’aspetto più difficile della ricerca sull’autoformalizzazione. Questo è una sfida perché richiede specialisti informatici e matematici costosi e altamente qualificati per tradurre manualmente la conoscenza matematica informale in un linguaggio formale.

Utilizzando un modello di lingua di grandi dimensioni all’avanguardia, GPT-4, per convertire i due corpora formali più grandi, l’Archive of Formal Proofs in Isabelle e mathlib4 in Lean4, in linguaggio naturale, gli autori di questo studio hanno affrontato l’assenza di un dataset parallelo. I due punti di vista più importanti che l’informalizzazione è molto più semplice della formalizzazione e che un forte LLM può produrre una varietà di uscite in linguaggio naturale – hanno facilitato questo processo. Ricercatori dell’Università di Cambridge e dell’Università di Edimburgo hanno prodotto simultaneamente un dataset informale-formale di 332K, che chiamano dataset MMA. Per quanto ne sappiamo, questo è il primo dataset parallelo con diversi linguaggi formali. Ha quattro volte più punti dati rispetto al dataset disponibile più grande.

• Questo documento AI fornisce una panoramica completa e una discussione dei vari tipi di perdite nelle pipeline di apprendimento automatico
• Incontra LocoMuJoCo Un nuovo punto di riferimento di apprendimento automatico progettato per facilitare una valutazione rigorosa e il confronto degli algoritmi di apprendimento per imitazione.
• La parte più difficile Definire un obiettivo per la classificazione

Hanno ottimizzato LLaMA-33B, un LLM open source molto efficace, su MMA per fornire frasi formali corrispondenti a quelle informali. Successivamente, sono stati utilizzati miniF2F e ProofNet, due benchmark di autoformalizzazione, per valutare il modello addestrato. Dopo l’aggiustamento del modello, è stata in grado di produrre il 16-18% delle affermazioni formali sui benchmark che richiedono nessuna o minima modifica, rispetto allo 0% del modello grezzo, secondo una revisione manuale di 50 output da ciascun benchmark. Inoltre, hanno adattato due modelli simili in modo indipendente per lo stesso numero di passaggi delle componenti Lean4 e Isabelle di MMA. Le loro performance di autoformalizzazione sono notevolmente peggiori rispetto a quelle del modello addestrato su dati multilingue, indicando l’importanza della formazione dell’autoformalizzazione su dati paralleli, che includono diversi linguaggi formali.

Contributi:

• Hanno creato MMA, una raccolta di accoppiamenti informali-formali, informando tutte le affermazioni formali da mathlib4 e l’Archive of Formal Proofs.

• Hanno addestrato il primo modello di linguaggio in grado di autoformalizzarsi in più lingue nella modalità zero-shot e lo hanno valutato manualmente su due benchmark di autoformalizzazione. Questo è il primo dataset di autoformalizzazione contenente più lingue formali, quattro volte più grande del più grande dataset esistente.

• Hanno confermato che i modelli di linguaggio addestrati su MMA hanno capacità di autoformalizzazione robuste e superano i modelli di linguaggio addestrati su partizioni monolingue di MMA con lo stesso budget computazionale nell’autoformalizzazione.

• Mettono a disposizione i modelli ottimizzati per la deduzione. Inoltre, mettono a disposizione il dataset MMA perché chiunque lo usi per addestrare e arricchire i modelli di autoformalizzazione con altri domini e lingue.

“`