Perché il modello AI Orca-2 di Microsoft rappresenta un passo significativo verso una IA sostenibile?

Perché il modello AI Orca-2 di Microsoft è un importante passo verso l'intelligenza artificiale sostenibile?

Nonostante i notevoli progressi compiuti dall’intelligenza artificiale nell’ultimo decennio, che includono la sconfitta dei campioni umani in giochi strategici come Scacchi e GO e la previsione della struttura tridimensionale delle proteine, la diffusa adozione dei modelli di linguaggio di grandi dimensioni (LLM) indica un cambiamento di paradigma. Questi modelli, destinati a trasformare le interazioni uomo-computer, sono diventati indispensabili in vari settori, tra cui l’istruzione, i servizi al cliente, il recupero delle informazioni, lo sviluppo software, i media e il settore sanitario. Sebbene questi progressi tecnologici sbloccino scoperte scientifiche e alimentino la crescita industriale, esiste un notevole impatto negativo per il pianeta.

Il processo di addestramento e utilizzo dei LLM consuma una quantità enorme di energia, con conseguenti rilevanti impatti ambientali caratterizzati da un aumento delle emissioni di anidride carbonica e dei gas serra. Uno studio recente del College of Information and Computer Sciences dell’Università del Massachusetts Amherst ha rivelato che l’addestramento dei LLM può emettere oltre 626.000 libbre di biossido di carbonio, equivalenti approssimativamente alle emissioni vitalizie di cinque automobili. Hugging Face, una startup di intelligenza artificiale, ha scoperto che l’addestramento di BLOOM, un grande modello di linguaggio lanciato all’inizio dell’anno, ha portato a 25 tonnellate metriche di emissioni di biossido di carbonio. Allo stesso modo, il modello di intelligenza artificiale di Facebook, Meena, accumula un’impronta di carbonio pari all’impatto ambientale di guidare un’auto per più di 240.000 miglia durante tutto il processo di addestramento.

Nonostante l’addestramento dei LLM, la domanda di cloud computing, essenziale per i LLM, contribuisce ora a più emissioni rispetto all’intera industria dell’aviazione. Un singolo data center può consumare quanto 50.000 case. Un altro studio evidenzia che l’addestramento di un singolo grande modello di linguaggio può rilasciare tanto CO2 quanto cinque automobili che utilizzano energia durante l’intera durata della loro vita. Le previsioni suggeriscono che le emissioni dell’IA aumenteranno del 300% entro il 2025, sottolineando l’urgenza di bilanciare il progresso dell’IA con la responsabilità ambientale e dando impulso a iniziative per rendere l’IA più ecologica. Per affrontare l’impatto ambientale negativo dei progressi dell’IA, l’IA sostenibile sta emergendo come un ambito di studio cruciale.

Intelligenza artificiale sostenibile

L’IA sostenibile rappresenta un cambiamento di paradigma nello sviluppo e nell’implementazione dei sistemi di intelligenza artificiale, focalizzandosi sulla minimizzazione dell’impatto ambientale, sulle considerazioni etiche e sui benefici a lungo termine per la società. L’approccio mira a creare sistemi intelligenti che siano energeticamente efficienti, responsabili dal punto di vista ambientale e allineati con i valori umani. L’IA sostenibile si concentra sull’utilizzo di energia pulita per i computer, su algoritmi intelligenti che consumano meno energia e sul rispetto delle linee guida etiche per garantire decisioni eque e trasparenti. È importante notare che c’è una differenza tra l’IA per la sostenibilità e l’IA sostenibile; la prima potrebbe implicare l’utilizzo dell’IA per ottimizzare processi esistenti senza necessariamente considerare le sue conseguenze ambientali o sociali, mentre la seconda integra attivamente i principi di sostenibilità in ogni fase dello sviluppo dell’IA, dal design all’implementazione, per creare un impatto positivo e duraturo sul pianeta e sulla società.

• Mistral AI presenta Mixtral 8x7B un potente modello sparso di miscela di esperti.
• Trasformare la gestione dei dati di ricerca il ruolo dell’IA nel potenziare gli sviluppatori
• Un’Esplorazione Approfondita del Test di Accessibilità Automatico vs Manuale

Dai LLM verso i Modelli di Linguaggio Ridotti (SLM)

Nella ricerca di un’IA sostenibile, Microsoft sta lavorando allo sviluppo di Modelli di Linguaggio Ridotti (SLM) per allinearsi alle capacità dei Modelli di Linguaggio di Grandi Dimensioni (LLM). In questo sforzo, hanno recentemente introdotto Orca-2, progettato per ragionare come GPT-4. A differenza del suo predecessore, Orca-1, che vantava 13 miliardi di parametri, Orca-2 contiene 7 miliardi di parametri utilizzando due tecniche chiave.

1. Accordatura dell’istruzione: Orca-2 migliora apprendendo dagli esempi, potenziando la qualità del contenuto, le capacità di zero-shot e le abilità di ragionamento in diversi compiti.
2. Accordatura delle spiegazioni: Riconoscendo i limiti dell’accordatura dell’istruzione, Orca-2 introduce l’accordatura delle spiegazioni. Questo implica la creazione di spiegazioni dettagliate per i modelli insegnanti, l’arricchimento dei segnali di ragionamento e il miglioramento della comprensione complessiva.

Orca-2 utilizza queste tecniche per raggiungere un ragionamento altamente efficiente, paragonabile a quello che i grandi modelli linguistici riescono a ottenere con molti più parametri. L’idea principale è consentire al modello di individuare il modo migliore per risolvere un problema, che sia fornire una risposta rapida o riflettere passo dopo passo. Microsoft chiama questo “ragionamento cauto”.

Per addestrare Orca-2, Microsoft crea un nuovo set di dati di addestramento utilizzando le annotazioni FLAN, Orca-1 e il dataset di Orca-2. Partono da domande facili, aggiungono alcune difficili e poi utilizzano i dati dai modelli di dialogo per renderlo ancora più intelligente.

Orca-2 viene sottoposto a una valutazione approfondita, che copre ragionamento, completamento del testo, ancoraggio, veridicità e sicurezza. I risultati mostrano il potenziale di miglioramento del ragionamento SLM attraverso un addestramento specializzato sui dati sintetici. Nonostante alcune limitazioni, i modelli di Orca-2 mostrano promesse per futuri miglioramenti nel ragionamento, nel controllo e nella sicurezza, dimostrando l’efficacia dell’applicazione strategica dei dati sintetici per affinare il modello dopo l’addestramento.

Importanza di Orca-2 per un AI sostenibile

Orca-2 rappresenta un grande salto verso un AI sostenibile, mettendo in discussione la credenza diffusa secondo cui solo i modelli più grandi, con il loro consumo energetico significativo, possono davvero migliorare le capacità dell’AI. Questo piccolo modello linguistico presenta una prospettiva alternativa, suggerendo che raggiungere l’eccellenza nei modelli linguistici non richiede necessariamente enormi dataset e potenza di calcolo estesa. Invece, sottolinea l’importanza del design intelligente e dell’integrazione efficace.

Questa svolta apre nuove possibilità proponendo un cambio di prospettiva: non limitarsi ad ampliare l’AI, ma concentrarsi su come progettarla. Questo segna un passaggio cruciale per rendere l’AI avanzata più accessibile a un pubblico più ampio, garantendo che l’innovazione sia inclusiva e raggiunga un’ampia gamma di persone e organizzazioni.

Orca-2 ha il potenziale per influenzare significativamente lo sviluppo dei futuri modelli linguistici. Che si tratti di migliorare compiti legati al processing del linguaggio naturale o di consentire applicazioni AI più sofisticate in vari settori, questi modelli più piccoli sono pronti a portare sostanziali cambiamenti positivi. Inoltre, fungono da pionieri nella promozione di pratiche più sostenibili nell’AI, allineando il progresso tecnologico con l’impegno per la responsabilità ambientale.

In conclusione:

Orca-2 di Microsoft rappresenta una svolta nella direzione di un’AI sostenibile, mettendo in discussione la credenza che solo i modelli grandi possano far avanzare l’AI. Priorizzando il design intelligente rispetto alla dimensione, Orca-2 apre nuove possibilità, offrendo un approccio più inclusivo e responsabile dal punto di vista ambientale allo sviluppo dell’AI avanzata. Questo cambio segna un passo significativo verso un nuovo paradigma nella progettazione dei sistemi intelligenti.