Il team AI di Microsoft presenta Phi-2 un modello di piccole dimensioni con 2,7 miliardi di parametri che dimostra eccezionali capacità di ragionamento e comprensione del linguaggio.

Microsoft presenta Phi-2 un modello AI compatto con 2,7 miliardi di parametri che sorprende per le sue eccezionali capacità di ragionamento e comprensione del linguaggio.

Lo sviluppo dei modelli di linguaggio ha operato storicamente sulla premessa che più grande è il modello, maggiori sono le sue capacità di performance. Tuttavia, rompendo con questa credenza consolidata, i ricercatori del team Machine Learning Foundations di Microsoft Research hanno introdotto Phi-2, un innovativo modello di linguaggio con 2,7 miliardi di parametri. Questo modello sfida le leggi di scala tradizionali che da tempo dominano il settore, mettendo in discussione la larghezza del modello come unico determinante delle sue capacità di elaborazione del linguaggio.

Questa ricerca naviga l’assunzione prevalente che un’efficienza superiore richieda modelli più grandi. I ricercatori introducono Phi-2 come una svolta paradigmatica, deviando dalla norma. L’articolo mette in luce le caratteristiche distintive di Phi-2 e le innovative metodologie abbracciate nel suo sviluppo. Abbandonando approcci convenzionali, Phi-2 si basa su dati di addestramento di alta qualità attentamente curati e sfrutta il trasferimento di conoscenza da modelli più piccoli, presentando una sfida formidabile alle norme consolidate nella scala dei modelli di linguaggio.

Il fulcro della metodologia di Phi-2 risiede in due intuizioni fondamentali. In primo luogo, i ricercatori enfatizzano il ruolo fondamentale della qualità dei dati di addestramento, impiegando dati “di qualità da manuale” attentamente progettati per infondere ragionamento, conoscenza e buon senso nel modello. In secondo luogo, entrano in gioco tecnologie innovative che consentono la scalabilità efficiente delle intuizioni del modello, partendo dal Phi-1.5 con 1,3 miliardi di parametri. L’articolo approfondisce l’architettura di Phi-2, un modello basato su Transformer con l’obiettivo della previsione della parola successiva addestrato su set di dati sintetici e web. Notevolmente, nonostante le sue dimensioni modeste, Phi-2 supera modelli più grandi su una varietà di benchmark, sottolineando la sua efficienza e formidabili capacità.

• Questo articolo AI esplora comportamenti non allineati nei grandi modelli di linguaggio le strategie ingannevoli di GPT-4 nella simulazione di negoziazione azionaria.
• Come clonare la voce e sincronizzare le labbra di un video come un professionista utilizzando strumenti open-source
• L’arma segreta di Spotify playlist generate dall’IA

In conclusione, i ricercatori di Microsoft Research propongono Phi-2 come una forza trasformativa nello sviluppo dei modelli di linguaggio. Questo modello non solo sfida, ma confuta con successo la convinzione consolidata nel settore che le capacità del modello siano intrinsecamente legate alle dimensioni. Questo cambiamento di paradigma incoraggia nuove prospettive e vie di ricerca, enfatizzando l’efficienza che si può raggiungere senza attenersi strettamente alle leggi di scala convenzionali. La combinazione distintiva di dati di addestramento di alta qualità e tecniche innovative di scalabilità di Phi-2 rappresenta un importante passo avanti nell’elaborazione del linguaggio naturale, promettendo nuove possibilità e modelli di linguaggio più sicuri per il futuro.

L’articolo Microsoft AI Team Introduce Phi-2: un modello di linguaggio piccolo con 2,7 miliardi di parametri che dimostra capacità eccezionali di ragionamento e comprensione del linguaggio è apparso per primo su MarkTechPost.