NVIDIA AI svela SteerLM un nuovo metodo di intelligenza artificiale che consente agli utenti di personalizzare le risposte dei grandi modelli di lingua (LLM) durante l’inferenza

NVIDIA AI rivela SteerLM un nuovo metodo di intelligenza artificiale per personalizzare le risposte dei grandi modelli di linguaggio (LLM) durante l'inferenza

Nel paesaggio in continua evoluzione dell’intelligenza artificiale, c’è da tempo una sfida che affligge sviluppatori e utenti: la necessità di risposte più personalizzate e sfumate da parte dei grandi modelli di linguaggio. Mentre questi modelli, come Llama 2, possono generare testo simile a quello umano, spesso è necessario fornire risposte veramente su misura per le esigenze uniche degli utenti. Gli approcci esistenti, come il fine-tuning supervisionato (FTS) e l’apprendimento adattivo dal feedback umano (AAFU), hanno limitazioni, che portano a risposte che potrebbero essere più meccaniche e complesse.

NVIDIA Research ha presentato SteerLM, una tecnica rivoluzionaria che promette di affrontare queste sfide. SteerLM offre un approccio innovativo e centrato sull’utente per la personalizzazione delle risposte dei grandi modelli di linguaggio, offrendo maggiore controllo sui loro output permettendo agli utenti di definire attributi chiave che guidano il comportamento del modello.

SteerLM funziona attraverso un processo di fine-tuning supervisionato in quattro fasi che semplifica la personalizzazione dei grandi modelli di linguaggio. Prima di tutto, addestra un Modello di Predizione degli Attributi utilizzando set di dati annotate da umani per valutare qualità come l’utilità, l’umorismo e la creatività. Successivamente, utilizza questo modello per annotare set di dati diversi, aumentando la varietà di dati accessibili al modello di linguaggio. Quindi, SteerLM utilizza il fine-tuning supervisionato condizionato agli attributi, addestrando il modello a generare risposte basate su attributi specificati, come la qualità percepita. Infine, affina il modello attraverso il bootstrap training, rendendo le risposte diverse e ottimizzando l’allineamento.

• Incontra MindGPT un decodificatore neurale non invasivo che interpreta gli stimoli visivi percepiti in lingue naturali dai segnali fMRI
• Google Quantum AI presenta 3 studi di caso per esplorare le applicazioni dell’informatica quantistica relative alla farmacologia, alla chimica e all’energia nucleare
• Incontra Decaf un nuovo framework di acquisizione deformazione monoculare di intelligenza artificiale per interazioni faccia e mano

Una delle caratteristiche distintive di SteerLM è la sua regolazione in tempo reale, che consente agli utenti di personalizzare gli attributi durante l’inferenza, adattandoli alle loro esigenze specifiche al volo. Questa notevole flessibilità apre la porta a varie applicazioni potenziali, dal gaming all’istruzione all’accessibilità. Con SteerLM, le aziende possono fornire capacità personalizzate a più team da un singolo modello, evitando la necessità di ricostruire modelli per ogni applicazione distinta.

La semplicità e l’usabilità di SteerLM sono evidenti nelle sue metriche e prestazioni. In esperimenti, SteerLM 43B ha superato modelli AAFU esistenti come ChatGPT-3.5 e Llama 30B AAFU sul benchmark Vicuna. Offrendo un processo di fine-tuning semplice che richiede modifiche minime all’infrastruttura e al codice, SteerLM offre risultati eccezionali con meno complicazioni, diventando un notevole avanzamento nel campo della personalizzazione dell’IA.

NVIDIA sta compiendo un passo significativo verso la democratizzazione della personalizzazione avanzata, rilasciando SteerLM come software open-source all’interno del suo framework NVIDIA NeMo. Gli sviluppatori hanno ora l’opportunità di accedere al codice e provare questa tecnica con un modello personalizzato Llama 2 da 13B, disponibile su piattaforme come Hugging Face. Sono fornite anche istruzioni dettagliate per coloro che sono interessati ad addestrare il proprio modello SteerLM.

Man mano che i grandi modelli di linguaggio continuano a evolversi, diventa sempre più essenziale trovare soluzioni come SteerLM per fornire un’intelligenza artificiale che non sia solo intelligente, ma anche veramente utile e allineata ai valori dell’utente. Con SteerLM, la comunità dell’IA compie un significativo passo avanti nella ricerca di sistemi AI più personalizzati e adattabili, aprendo una nuova era di intelligenza artificiale su misura.