CarperAI presenta OpenELM una libreria open-source progettata per abilitare la ricerca evolutiva con modelli linguistici sia nel codice che nel linguaggio naturale.

CarperAI presenta OpenELM, una libreria open-source per la ricerca evolutiva con modelli linguistici nel codice e nel linguaggio naturale.

Il Natural Language Processing, uno dei principali sottocampi dell’Intelligenza Artificiale, sta avanzando a un ritmo straordinario. Con la sua capacità di consentire a un computer di comprendere il linguaggio umano così come viene parlato e scritto, l’NLP ha diversi casi d’uso. Uno sviluppo di questo tipo è l’introduzione di Large Language Models, che sono modelli di deep learning addestrati basati su Natural Language Processing, Natural Language Understanding e Natural Language Generation. Questi modelli imitano gli esseri umani rispondendo a domande, generando testi precisi, completando codici, riassumendo lunghi paragrafi di testo, traducendo lingue e così via.

Recentemente, CarperAI, un’importante organizzazione di ricerca sull’IA, ha introdotto OpenELM, una libreria open-source che promette di trasformare il campo della ricerca evolutiva. OpenELM, in cui ELM sta per Evolution through Large Models, combina il potere dei grandi modelli di linguaggio con algoritmi evolutivi per consentire la generazione di testo e codice diversi e di alta qualità. La versione 0.9 di OpenELM è stata proposta con l’obiettivo di fornire agli sviluppatori e ai ricercatori uno strumento eccezionale per risolvere problemi complessi in vari ambiti. Insieme a OpenELM, il team ha anche pubblicato il suo articolo al GPTP 2023.

Evolution Through Large Models (ELM) dimostra come i LLM possano migliorare, valutare e migliorare iterativamente la loro produzione. Questa abilità può essere utilizzata per migliorare la capacità dei modelli di linguaggio di risolvere problemi e dimostra il loro potenziale come operatori di ricerca intelligenti sia per il linguaggio che per il codice. L’idea centrale di ELM è che i LLM possano agire come operatori intelligenti di variazione negli algoritmi evolutivi. OpenELM sfrutta questo potenziale per migliorare le capacità di risoluzione dei problemi dei modelli di linguaggio, consentendo la creazione di contenuti variati e di alta qualità in aree che il modello potrebbe non aver visto durante l’addestramento. Il team ha introdotto OpenELM con quattro obiettivi principali, che sono i seguenti.

• Risolvere efficacemente i problemi di convergenza dell’addestramento distribuito con l’ottimizzazione automatica del modello Hyperband di Amazon SageMaker
• Comprendere tutti i dati
• Una palestra open-source per la progettazione assistita da apprendimento automatico dell’architettura informatica

1. Open source – OpenELM offre un rilascio open-source di ELM e dei modelli differenziali ad esso correlati, il che permette agli sviluppatori di utilizzare liberamente la libreria e contribuire.

1. Integrazione del modello: OpenELM è progettato per funzionare facilmente sia con modelli chiusi, che possono essere utilizzati solo con API commerciali come l’API di OpenAI, sia con modelli di linguaggio open-source, che possono essere utilizzati localmente o su piattaforme come Colab.

1. Interfaccia utente amichevole e ambienti di esempio: OpenELM mira a fornire un’interfaccia utente semplice insieme a una varietà di ambienti di ricerca evolutiva.

1. Potenziale evolutivo – OpenELM intende dimostrare il potenziale evolutivo dei modelli di linguaggio in combinazione con l’evoluzione, e mostra come operatori di variazione intelligenti possano aiutare gli algoritmi evolutivi, specialmente nei campi della creazione di codice di testo semplice e della scrittura creativa, sfruttando le possibilità dei grandi modelli di linguaggio.

Con un focus su metodi di qualità-diversità (QD) come MAP-Elites, CVT-MAP-Elites e Deep Grid MAP-Elites, OpenELM, essendo una libreria ricca di funzionalità, interagisce senza problemi con tecniche evolutive ben note. Ciò rende possibile creare soluzioni di alta qualità e diverse incoraggiando la diversità e preservando i migliori individui in ciascuna specialità. In conclusione, OpenELM segna una tappa significativa nel campo della ricerca evolutiva sfruttando il potenziale dei grandi modelli di linguaggio per generare testo e codice diversi e di alta qualità.