All’interno di FunSearch il nuovo LLM di Google DeepMind in grado di scoprire nuovi algoritmi di matematica e informatica

All'interno di FunSearch il nuovo LLM di Google DeepMind che rivoluziona la scoperta di nuovi algoritmi di matematica e informatica

Il nuovo modello combina LLMS generatore di codice con tecniche di valutazione avanzate.

Recentemente ho avviato una newsletter educativa focalizzata sull’Intelligenza Artificiale, che ha già oltre 160.000 abbonati. TheSequence è una newsletter orientata all’apprendimento automatico che richiede solo 5 minuti per essere letta e che evita gli sfarzi, le notizie e simili. L’obiettivo è tenerti aggiornato sui progetti di apprendimento automatico, gli articoli di ricerca e i concetti. Prova a iscriverti qui di seguito:

TheSequence | Jesus Rodriguez | Substack

La migliore fonte per rimanere aggiornato sugli sviluppi nell’apprendimento automatico, nell’intelligenza artificiale e nei dati…

thesequence.substack.com

Scoprire nuove scoperte scientifiche potrebbe essere il test di Turing più completo per i modelli di intelligenza artificiale. I nuovi metodi scientifici richiedono competenze di ragionamento complesso, che combinano conoscenze provenienti da molti campi, sperimentazione e valutazione costanti e molte altre competenze cognitive complesse. Google DeepMind è uno dei laboratori di intelligenza artificiale che sta spingendo i confini nell’utilizzo dell’IA per semplificare il nostro percorso verso nuove scoperte scientifiche. Modelli come AlphaGo hanno permesso la scoperta di nuove proteine, mentre AlphaTensor è stato in grado di migliorare gli algoritmi classici di moltiplicazione delle matrici. La nuova iterazione di Google DeepMind in questo campo è FunSearch, un modello capace di creare nuovi algoritmi matematici e informatici.

FunSearch offre un approccio intelligente per scoprire nuovi algoritmi “pensando in codice”. Essenzialmente, FunSearch utilizza un LLMS per generare programmi informatici basati su un insieme di funzioni per un determinato problema, quindi utilizza un valutatore per dimostrare le diverse soluzioni. Il nome FunSearch deriva dal fatto che il modello ricerca in modo iterativo lo spazio delle funzioni.

• 5 casi d’uso di DALLE-3
• Mixtral-8x7B + GPT-3 + LLAMA2 70B = Il vincitore
• Questo articolo di intelligenza artificiale propone la tecnica COLMAP-Free 3D Gaussian Splatting (CF3DGS) per la sintesi di nuove visualizzazioni senza parametri della fotocamera noti.

Interno di FunSearch

FunSearch si basa su una combinazione di metodi evolutivi e modelli di linguaggio (LLMs) per raffinare e migliorare le migliori idee di programmazione. Questo processo inizia con la specifica di un problema definito dall’utente, presentato sotto forma di codice, che include una procedura di valutazione e un programma iniziale. Questo programma iniziale avvia una collezione di programmi per ulteriori sviluppi.

FunSearch si basa su una serie di componenti chiave:

1. Specifica del problema: Gli utenti forniscono un problema sotto forma di una funzione “valuta”, che valuta le soluzioni potenziali. Un programma iniziale, spesso semplice, viene incluso per avviare il processo evolutivo.

2. LLM preaddestrato: FunSearch si basa su Codey, costruito sulla famiglia di modelli PaLM2. Codey, che è stato sottoposto a un addestramento intensivo su una vasta gamma di codici, è fondamentale per suggerire miglioramenti alle funzioni. Sorprendentemente, Codey funziona senza alcun addestramento specifico personalizzato per i problemi affrontati.

3. Valutazione: Questo componente di FunSearch prevede la valutazione dei programmi generati dal LLM in base a determinati input. Ad esempio, nei problemi di ottimizzazione dimensionale o combinatoria, questi input variano in base ai requisiti specifici del compito.

4. Database dei programmi: Questo database mantiene una raccolta diversificata di programmi accurati, che sono cruciali per generare nuovi stimoli ed evitare ottimi locali nel processo evolutivo.

5. Stimolo: FunSearch utilizza un metodo chiamato “rottura migliore”, che prevede la selezione e il ranking dei programmi dal database in base alle loro prestazioni. Ogni programma viene assegnato un numero di versione in base al suo punteggio.

6. Sistema distribuito: Questo componente di FunSearch comprende tre componenti principali: un database di programmi, campionatori e valutatori, tutti che lavorano in modo asincrono. Il database memorizza e distribuisce i programmi, i campionatori utilizzano il LLM preaddestrato per creare nuove funzioni, e i valutatori giudicano l’efficacia di questi programmi. Questo sistema complesso, illustrato nelle loro informazioni complementari, mostra l’approccio completo e dinamico di Google DeepMind nel progresso del campo dell’evoluzione dei programmi.

FunSearch in Azione

Per valutare FunSearch, Google DeepMind ha deciso di affrontare alcuni problemi iconici sia in matematica che in informatica.

Problema 1: Problema dei Set di Cappelli

La prima sfida è stata il problema dei set di cappelli, un enigma da tempo irrisolto nella comunità matematica. Questo problema consiste nell’identificare il gruppo più grande di punti in una griglia ad alta dimensionalità tale che nessun tre punti formino una linea retta. Collaborando con il professore di matematica Jordan Ellenberg dell’Università del Wisconsin–Madison, che ha fatto una scoperta significativa in questo campo, Google DeepMind ha affrontato questo problema, che ha implicazioni nella combinatoria estremale. I metodi di calcolo tradizionali falliscono qui a causa del numero astronomico di possibilità, che supera persino il numero totale di atomi nell’universo.

Il successo di FunSearch in questa area è stato notevole. Ha generato programmi che hanno scoperto i più grandi set di cappelli conosciuti fino ad oggi, segnando il progresso più significativo in questo campo degli ultimi due decenni. Non solo ha raggiunto questo risultato, ma ha anche superato le capacità dei risolutori computazionali più avanzati, dimostrando la sua superiorità nell’affrontare sfide matematiche complesse.

Problema 2: Bin Packing

Il secondo problema affrontato da Google DeepMind con FunSearch è il pratico ed estremamente rilevante problema della distribuzione degli oggetti nei contenitori. Questo problema consiste nel posizionare in modo efficiente oggetti di dimensioni variabili nel minor numero possibile di contenitori, un compito centrale in numerose applicazioni del mondo reale, dalla logistica alla gestione dei data center. Tipicamente, questo problema viene affrontato con regole euristiche basate sull’esperienza umana, che possono variare notevolmente a seconda delle specifiche esigenze di ogni caso.

FunSearch ha dimostrato ancora una volta la sua adattabilità. La sua implementazione per il problema della distribuzione degli oggetti nei contenitori è stata semplice nonostante le differenze significative rispetto alla sfida dei set di cappelli. Lo strumento ha eccelso nel creare un programma personalizzato adatto ai dettagli specifici del compito a portata di mano. Questo programma ha superato le euristiche tradizionali, ottenendo una distribuzione più efficiente con l’utilizzo di meno contenitori. Questo successo ha evidenziato la flessibilità di FunSearch e il suo potenziale nel rivoluzionare la risoluzione di problemi in vari ambiti.

FunSearch rappresenta uno dei paper più interessanti pubblicati quest’anno e mette in luce il potenziale delle LLM applicate alla scoperta di nuove scienze. La scoperta di nuovi algoritmi in matematica e informatica è di per sé un risultato notevole, ma i principi di FunSearch possono essere applicati a molte altre aree della scienza.