I ricercatori del laboratorio XLang NLP propongono Lemur i modelli di linguaggio aperti preaddestrati di ultima generazione che bilanciano le capacità di testo e codice.

I ricercatori del laboratorio XLang NLP propongono Lemur, modelli di linguaggio aperti preaddestrati che bilanciano testo e codice.

In un mondo sempre più guidato dall’intersezione tra linguaggio e tecnologia, la domanda di modelli linguistici versatili e potenti non è mai stata così grande. I tradizionali grandi modelli linguistici (LLM) si sono distinti nella comprensione testuale o nelle attività di codifica, ma raramente sono riusciti a trovare un equilibrio armonioso tra i due. Questo squilibrio ha lasciato un vuoto nel mercato per modelli in grado di navigare senza soluzione di continuità tra ragionamento testuale e competenza nella codifica. Ecco Lemur e Lemur-chat, due contributi innovativi al campo dei LLM preaddestrati e sottoposti a un’ulteriore messa a punto supervisionata, che mirano a colmare questa lacuna.

Creare modelli linguistici in grado di gestire in modo efficiente sia il testo che il codice è stata una sfida di lunga data. I LLM esistenti di solito sono specializzati nella comprensione testuale o nelle attività di codifica, ma raramente in entrambe. Questa specializzazione ha lasciato sviluppatori e ricercatori alle prese con la necessità di scegliere tra modelli che eccellono in un’area ma sono carenti nell’altra. Di conseguenza, è sorta una pressante necessità di LLM che possano offrire un insieme di competenze multifaceted che comprendano comprensione, ragionamento, pianificazione, codifica e contestualizzazione.

Anche se esistono alcune soluzioni sotto forma di LLM tradizionali, le loro limitazioni sono rimaste evidenti. L’industria ha bisogno di modelli che possano veramente bilanciare le complesse esigenze sia delle attività legate al testo che del codice. Ciò ha creato un vuoto nel panorama degli agenti di modelli linguistici, in cui un approccio integrato alla comprensione, al ragionamento e alla codifica è essenziale.

• Abbracciare la diversità neuronale un salto nell’efficienza e nelle prestazioni dell’IA
• Il primo AI visuale e linguistica a uso generale LLaVA
• Nuova tecnica di ingegneria del prompt di ChatGPT simulazione del programma

Il progetto Lemur, guidato da XLang Lab in collaborazione con Salesforce Research, cerca di colmare questa lacuna critica nella tecnologia dei modelli linguistici. Lemur e Lemur-chat rappresentano un sforzo pionieristico per sviluppare LLM preaddestrati, aperti e sottoposti a un’ulteriore messa a punto supervisionata che eccellono sia nelle attività legate al testo che al codice. La pietra angolare di questo sforzo è la preaddestramento estensivo di Llama 2 su un vasto corpus di circa 100 miliardi di righe di dati intensivi di codice. Questa fase di preaddestramento è seguita da un’ulteriore messa a punto supervisionata su circa 300.000 istanze di dati di istruzioni pubbliche e di dialogo. Il risultato è un modello linguistico con abilità di codifica e ancoraggio migliorate, pur mantenendo prestazioni competitive nella comprensione testuale e nella conoscenza.

Le metriche di performance di Lemur e Lemur-chat sono una testimonianza della loro abilità. Lemur si distingue superando altri modelli linguistici open-source nei benchmark di codifica, dimostrando la sua competenza nella codifica. Allo stesso tempo, mantiene un vantaggio competitivo nel ragionamento testuale e nelle attività basate sulla conoscenza, mettendo in mostra il suo insieme di competenze versatili. Nel frattempo, Lemur-chat supera significativamente altri modelli open-source sottoposti a un’ulteriore messa a punto supervisionata su varie dimensioni, indicando le sue eccezionali capacità nel colmare il divario tra testo e codice in contesti conversazionali.

Il progetto Lemur rappresenta un sforzo di ricerca collaborativo con contributi sia da parte di XLang Lab che da parte di Salesforce Research, con il supporto di generosi finanziamenti da parte di Salesforce Research, Google Research e Amazon AWS. Sebbene il percorso verso un modello linguistico open-source equilibrato sia in corso, i contributi di Lemur hanno già iniziato a plasmare il panorama della tecnologia dei modelli linguistici. Offrendo un modello che eccelle sia nelle attività legate al testo che al codice, Lemur fornisce uno strumento potente per sviluppatori, ricercatori e organizzazioni che cercano di navigare nell’intersezione sempre più complessa tra linguaggio e tecnologia.

In conclusione, il progetto Lemur si presenta come un faro di innovazione nel mondo dei modelli linguistici. La sua capacità di bilanciare armoniosamente le attività legate al testo e al codice ha affrontato una sfida di lunga data nel settore. Mentre Lemur continua a evolversi e a stabilire nuovi parametri di riferimento, promette di spingere ulteriormente la ricerca sui modelli di agenti e di stabilire una base più potente ed equilibrata per i modelli linguistici open-source. Con Lemur, il futuro della tecnologia dei modelli linguistici è più luminoso e versatile che mai.