Ricercatori dell’Università di Amsterdam e Qualcomm AI presentano VeRA un nuovo metodo di AI di fine tuning che riduce il numero di parametri addestrabili del 10x rispetto a LoRA.

Ricercatori dell'Università di Amsterdam e Qualcomm AI presentano VeRA un nuovo metodo di fine tuning AI che riduce i parametri addestrabili del 10x rispetto a LoRA.

Con l’espansione sempre crescente delle applicazioni di elaborazione del linguaggio naturale, c’è una crescente domanda di modelli in grado di comprendere ed agire efficacemente su istruzioni specifiche con un minimo di complessità computazionale e requisiti di memoria. Questa ricerca evidenzia i limiti dei metodi esistenti e presenta un nuovo approccio noto come VeRA, che mira a ottimizzare significativamente i processi di sintonizzazione dell’istruzione.

I modelli di linguaggio spesso hanno bisogno di aiuto con la loro memoria ed esigenze computazionali, rendendoli meno efficienti per le applicazioni reali. Per affrontare questo problema, i ricercatori introducono VeRA, un nuovo metodo che consente al modello Llama2 7B di seguire istruzioni efficacemente utilizzando solo 1,4 milioni di parametri addestrabili. Questo segna un notevole progresso rispetto al metodo LoRA precedentemente impiegato, che richiedeva un numero di parametri significativamente maggiore di 159,9 milioni con un rank di 64, come proposto da Dettmers et al. La sostanziale riduzione dei parametri pur mantenendo i livelli di performance dimostra l’efficacia e la promessa dell’approccio VeRA.

Il successo del metodo VeRA può essere attribuito alla sua strategia completa di sintonizzazione fine, focalizzata principalmente su tutti i livelli lineari, escludendo quello superiore. Inoltre, l’utilizzo di tecniche di quantizzazione per l’addestramento su GPU singole e l’utilizzo della versione pulita del dataset Alpaca sono stati strumentali nel mostrare le capacità di VeRA. Il team di ricerca ha condotto l’addestramento su un sottoinsieme di 10.000 campioni del dataset Alpaca, preceduto da una completa scansione del tasso di apprendimento, per garantire prestazioni ottimali. Questo approccio meticoloso alla selezione dei dati e alla metodologia di addestramento sottolinea la robustezza e l’affidabilità dei risultati della ricerca.

• Incontra FastEmbed una leggera e veloce libreria Python per la generazione di embed di testo
• Google AI presenta PaLI-3 un modello Vision Language (VLM) più piccolo, più veloce e più potente che si confronta positivamente con modelli simili che sono 10 volte più grandi.
• Un nuovo studio di intelligenza artificiale dell’MIT mostra come le reti neurali profonde non vedano il mondo nel modo in cui lo vediamo noi

Nella fase di valutazione, il team di ricerca ha adottato un approccio simile a quello di Chiang et al., Generando risposte del modello a un insieme predefinito di 80 domande ed valutando queste risposte utilizzando GPT-4. I risultati, presentati nella tabella 4, evidenziano le prestazioni superiori del metodo VeRA, come dimostrato da punteggi complessivi più alti rispetto all’approccio convenzionale LoRA. Questo significativo risultato sottolinea l’efficacia dell’approccio VeRA nel raggiungimento di capacità avanzate di seguire istruzioni pur mantenendo un’efficienza ottimale.

L’impatto del metodo VeRA va oltre le sue immediate applicazioni, segnalando un cambiamento di paradigma nella sintonizzazione delle istruzioni e nell’ottimizzazione del modello di linguaggio. Riducendo significativamente il numero di parametri addestrabili, VeRA ha affrontato in modo efficace un ostacolo critico nell’applicazione di modelli di linguaggio, aprendo la strada a servizi AI più efficienti e accessibili. Questa svolta ha un enorme potenziale per varie industrie e settori che si basano su soluzioni AI, offrendo un approccio pratico ed efficiente alla sintonizzazione delle istruzioni per diverse applicazioni.

In conclusione, l’emergere del metodo VeRA rappresenta una tappa significativa nell’evoluzione dei modelli di linguaggio e delle metodologie di sintonizzazione delle istruzioni. Il suo successo è una testimonianza delle possibilità di raggiungere prestazioni ottimali con una complessità computazionale minima e requisiti di memoria. Con la continua crescita della domanda di soluzioni AI efficienti e pratiche, il metodo VeRA è una testimonianza dei progressi in corso nella ricerca AI e del suo potenziale per trasformare varie industrie e settori. I risultati del team di ricerca segnano un significativo passo avanti nella ricerca di soluzioni AI più accessibili e sistematizzate, aprendo la strada a future innovazioni e sviluppi nelle tecniche di elaborazione del linguaggio naturale e di sintonizzazione delle istruzioni.