Incontra il modello GOAT-7B-Community un modello AI raffinato Fine-Tuned LLaMA-2 7B sul dataset raccolto dall’app GoatChat

Incontra il modello GOAT-7B-Community, un modello AI raffinato Fine-Tuned LLaMA-2 7B sul dataset di GoatChat.

Recentemente, gli scienziati del Laboratorio di Ricerca sull’Intelligenza Artificiale hanno presentato il modello GOAT-7B-Community, che raffina il modello LLaMA-2 7B utilizzando i dati dell’app GoatChat. LLaMA v2 7B di Meta è stato ottimizzato per diventare il modello GOAT-7B-Community all’avanguardia utilizzando il nuovo dataset dettagliato ottenuto dall’applicazione GoatChat.

‘Allineamento’ è fondamentale per creare modelli di linguaggio estesi (LLM). È l’idea che un modello possa rifiutarsi di rispondere a domande che considera non etiche o illegali in base alla sua formazione ed esperienza. L’allineamento è essenziale per l’implementazione etica dell’IA ma pone nuove sfide per l’ottimizzazione del modello.

I ricercatori hanno notato che le risposte generate dall’allineamento raramente forniscono i dettagli precisi di cui i clienti hanno bisogno. Queste reazioni sono tipicamente più contenute e indicative di una riluttanza a fornire ulteriori dettagli. Occuparsi di questo è essenziale se si vuole costruire un modello affidabile che fornisca risposte esaustive e complete alle domande. Hanno scoperto che il filtro di allineamento non elimina tutte le suggestioni inappropriate. A causa di ciò, l’allineamento spesso comporta l’eliminazione di un ampio dataset. Questo equivale a circa un terzo delle informazioni totali nel caso.

• FraudGPT L’allarmante aumento degli strumenti di cybercrimine alimentati dall’IA
• CDF vs PDF Qual è la differenza?
• Migliorare l’ingegneria delle prompt per le applicazioni LLM con LangChain

Di fronte a questo problema, i ricercatori hanno sviluppato una nuova tecnica per la pulizia dei dataset. Inoltre, hanno condotto un esperimento regolamentato per comprendere a fondo l’effetto delle risposte allineate sulle prestazioni del modello.

Come vengono istruiti gli scienziati

Un nodo ad alte prestazioni dotato di otto GPU NVIDIA A100 ha fornito la base per i calcoli di deep learning. I ricercatori hanno scelto il formato di punto mobile bfloat16 e l’ottimizzazione DeepSpeed ZeRO-3 come base per la procedura di addestramento. Hanno eseguito tre iterazioni dei modelli, salvando i progressi ogni due epoche. Tuttavia, le prove empiriche hanno mostrato che dopo una singola epoca di esecuzione, la qualità ha iniziato a degradarsi. Ciò li ha portati a ripensare la loro strategia e a stabilire un’unica epoca di addestramento con un controllo a metà percorso. Vengono utilizzati criteri comuni per valutare i modelli di linguaggio, come MMLU e BigBench Hard, per valutare il modello GOAT-7B-Community. Il team sta ancora analizzando tutti i modelli e pubblicherà presto i suoi risultati.

Utilizzi

La ricerca sui grandi modelli di linguaggio e sui chatbot è il focus principale di GOAT-7B-Community. Gli studiosi e gli appassionati di elaborazione del linguaggio naturale, apprendimento automatico e intelligenza artificiale troveranno particolarmente utile questo modello.

Limitazioni

Nonostante le sue impressionanti capacità di ragionamento, il modello soffre dei problemi associati alla sua dimensione relativamente piccola (i modelli 7B sono considerati modelli “piccoli” LLM). Le “allucinazioni” sono il tipo più evidente. Queste ‘allucinazioni’ sono un ostacolo persistente da risolvere poiché i LLM migliorano ed espandono.

Le allucinazioni sono un problema persistente fortemente enfatizzato negli studi sull’intelligenza artificiale. L’obiettivo finale è sviluppare modelli capaci di produrre risposte logiche, grammaticalmente corrette e fedeli ai fatti presentati.

Rischio e pregiudizi

Il modello GOAT-7B-Community non è affidabile in quanto potrebbe restituire risultati in contrasto con la realtà. Il modello è stato istruito utilizzando sia dati pubblici che proprietari. Pertanto, il modello GOAT-7B-Community può produrre risultati inaccurati, tendenziosi o addirittura discutibili.

Osservazioni principali

• Non ci sono molti modelli gratuiti 7B migliori di questo.
• La chiave per ottenere buoni risultati MMLU è un dataset diversificato e di alta qualità.
• Se confrontato con i modelli attuali da 13B, il 7B si comporta in modo ammirevole.
• Tuttavia, si applicano ancora vincoli di dimensione.

Prospettive future

I ricercatori hanno diversi progetti interessanti in cantiere che porteranno la ricerca sull’IA a nuove vette. Stanno redigendo un articolo scientifico che approfondisce le nuove scoperte su come diversi metodi di elaborazione e raccolta dei dataset possono potenziare in modo significativo le capacità di ragionamento di un modello. Hanno scoperto che la cura e l’elaborazione dei dati influiscono notevolmente sul successo del raffinamento supervisionato dell’istruzione. Le intuizioni che hanno acquisito potrebbero essere decisive per l’avanzamento del campo dell’IA e i ricercatori sono ansiosi di condividerle con la comunità più ampia. Stanno anche puntando a obiettivi ancora più ambiziosi nell’apprendimento profondo. I ricercatori stanno già sviluppando modelli LLaMA v2 di dimensioni maggiori, in particolare le varianti da 13B e 70B. Questi modelli su larga scala ci permetteranno di sperimentare ulteriormente e spingere i limiti di ciò che è attualmente possibile nella modellazione dell’IA.

Il viaggio nella ricerca e nell’addestramento dei modelli di deep learning è appena iniziato. I ricercatori sono completamente impegnati nella ricerca di tutte le sfide critiche legate a LLMs e alle tecnologie AI Twin, al fine di sbloccare il potenziale straordinario del reinforcement learning dal feedback umano (RLHF).