ChatGPT Dethroned Come Claude è diventato il nuovo leader dell’IA

ChatGPT Dethroned How Claude Became the New Leader of AI

 

Ci siamo abituati a continui progressi nell’Intelligenza Artificiale negli ultimi mesi.

Ma non ad annunci che stabiliscono un nuovo record superando di 10 volte il precedente, ed è esattamente quello che Anthropic ha fatto con la sua nuova versione del suo chatbot Claude, il più grande concorrente di ChatGPT.

Mette letteralmente in ombra tutti gli altri.

• L’accesso ai dati è gravemente carente nella maggior parte delle aziende e il 71% crede che i dati sintetici possano aiutare
• Justin McGill, Fondatore e CEO di Content at Scale – Serie di interviste
• Sull’apprendimento nella presenza di gruppi sottorappresentati

Da ora in poi, trasformerai ore di ricerca di testo e informazioni in pochi secondi, evolvendo i chatbot Generative AI da semplici agenti conversazionali a strumenti rivoluzionari per la tua vita e per coloro che ti circondano.

 

Un chatbot potenziato e orientato a fare del bene

 

Come sai, con GenAI abbiamo aperto una finestra per l’IA per generare contenuti, come testo o immagini, il che è fantastico.

Ma come per qualsiasi cosa in tecnologia, ci sono dei compromessi, nel senso che i modelli GenAI mancano di consapevolezza o giudizio su ciò che è ‘buono’ o ‘cattivo’.

In realtà, hanno raggiunto la capacità di generare testo imitando i dati generati dagli esseri umani che, spesso, nascondono pregiudizi discutibili e contenuti dubbiosi.

Purtroppo, man mano che questi modelli migliorano diventando sempre più grandi, l’incentivo a semplicemente fornire loro qualsiasi testo possibile che si possa trovare, indipendentemente dal contenuto, è particolarmente allettante.

E questo comporta enormi rischi.

 

Il problema dell’allineamento

 

A causa della loro mancanza di giudizio, i modelli di base Large Language Models, o base LLMs come vengono comunemente chiamati, sono particolarmente pericolosi, poiché sono molto suscettibili di apprendere i pregiudizi nascosti nei dati di addestramento perché ripropongono gli stessi comportamenti.

Ad esempio, se i dati sono influenzati dal razzismo, questi LLM diventano la sua incarnazione vivente. E lo stesso vale per l’omofobia e qualsiasi altro tipo di discriminazione che si possa immaginare.

Quindi, considerando che molte persone vedono Internet come il luogo perfetto per testare i loro limiti di immoralità e scorrettezza, il fatto che gli LLM siano stati addestrati praticamente su tutto Internet senza alcuna barriera di sicurezza dice tutto sui potenziali rischi.

Fortunatamente, modelli come ChatGPT sono un’evoluzione di questi modelli di base ottenuta allineando le loro risposte a ciò che gli esseri umani considerano ‘appropriate’.

Questo è stato fatto utilizzando un meccanismo di ricompensa descritto come Apprendimento per Rinforzo per il Feedback Umano, o RLHF.

In particolare, ChatGPT è stato filtrato attraverso il giudizio autoritario degli ingegneri di OpenAI che hanno trasformato un modello molto pericoloso in qualcosa di meno influenzato e molto più utile e capace di seguire istruzioni.

Non sorprendentemente, questi LLM sono generalmente chiamati Modelli di Linguaggio Sintonizzati con le Istruzioni.

Naturalmente, gli ingegneri di OpenAI non dovrebbero essere responsabili di decidere cosa è buono o cattivo per il resto del mondo, poiché anche loro hanno i loro pregiudizi (culturali, etnici, ecc.).

Alla fine della giornata, anche le persone più virtuose hanno dei pregiudizi.

Non c’è bisogno di dire che questa procedura non è perfetta.

Abbiamo visto in diversi casi in cui questi modelli, nonostante il loro presunto allineamento, hanno agito in modo ambiguo, quasi vile, nei confronti dei loro utenti, come è successo a molti con Bing, costringendo Microsoft a limitare il contesto dell’interazione a pochi messaggi prima che le cose andassero storte.

Tenendo conto di tutto ciò, quando due ex ricercatori di OpenAI hanno fondato Anthropic, avevano un’altra idea in mente… avrebbero allineato i loro modelli utilizzando l’IA anziché gli esseri umani, con il concetto completamente rivoluzionario di auto-allineamento.

 

Dall’Massachusetts all’IA

 

Innanzitutto, il team ha redatto una Costituzione che includeva documenti come la Dichiarazione Universale dei Diritti Umani o i termini di servizio di Apple.

In questo modo, il modello non solo è stato insegnato a prevedere la prossima parola in una frase (come qualsiasi altro modello di linguaggio), ma doveva anche tenere conto, in ogni sua risposta, di una Costituzione che determinava cosa potesse dire o meno.

Successivamente, invece che dagli esseri umani, l’effettiva intelligenza artificiale è responsabile dell’allineamento del modello, potenzialmente liberandolo dai pregiudizi umani.

Ma la notizia cruciale che Anthropic ha recentemente pubblicato non è il concetto di allineare i loro modelli a qualcosa che gli esseri umani possono tollerare e utilizzare con l’IA, ma un recente annuncio che ha trasformato Claude nel dominatore incontestabile nella guerra GenAI.

In particolare, ha aumentato la sua finestra di contesto da 9.000 token a 100.000. Un miglioramento senza precedenti che ha implicazioni incomparabili.

Ma cosa significa e quali sono queste implicazioni?

Si tratta di token

Sia chiaro che l’importanza di questo concetto di “token” non può essere trascurata, poiché nonostante ciò che molte persone potrebbero dirti, LLM non prevedono la parola successiva in una sequenza… almeno non letteralmente.

Nella generazione delle loro risposte, LLM predicono il token successivo, che di solito rappresenta tra 3 e 4 caratteri, non la parola successiva.

Naturalmente, questi token possono rappresentare una parola, o le parole possono essere composte da diversi di essi (per riferimento, 100 token rappresentano circa 75 parole).

Nell’esecuzione di un’infrazione, modelli come ChatGPT suddividono il testo che gli hai fornito in parti e effettuano una serie di calcoli matriciali, un concetto definito auto-attenzione, che combinano tutti i diversi token nel testo per imparare come ogni token influisce sugli altri.

In questo modo, il modello “impara” il significato e il contesto del testo e quindi può procedere a rispondere.

Il problema è che questo processo richiede molte risorse computazionali per il modello.

Più precisamente, i requisiti di calcolo sono quadratici rispetto alla lunghezza dell’input, quindi più lungo è il testo che gli dai, descritto come la finestra di contesto, più costoso è eseguire il modello sia durante la formazione che durante l’infrazione.

Ciò ha costretto i ricercatori a limitare considerevolmente la dimensione consentita dell’input fornito a questi modelli a una proporzione standard di circa 2.000-8.000 token, di cui l’ultimo corrisponde a circa 6.000 parole.

Prevedibilmente, la restrizione della finestra di contesto ha notevolmente limitato la capacità dei LLM di incidere sulle nostre vite, lasciandoli come uno strumento divertente che può aiutarti con poche cose.

Ma perché aumentare questa finestra di contesto sblocca il potenziale più grande dei LLM?

Bene, è semplice, perché sblocca la loro caratteristica più potente, l’apprendimento contestuale.

Apprendimento senza addestramento

In parole semplici, i LLM hanno una capacità rara che consente loro di imparare “al volo”.

Come sai, addestrare i LLM è costoso e rischioso, specificamente perché per addestrarli devi fornire loro i tuoi dati, il che non è la migliore opzione se vuoi proteggere la tua privacy.

Inoltre, ogni giorno compaiono nuovi dati, quindi se dovessi continuamente perfezionare – addestrare ulteriormente – il tuo modello, il caso aziendale per i LLM sarebbe completamente distrutto.

Fortunatamente, i LLM sono bravi in questo concetto descritto come apprendimento contestuale, che è la loro capacità di imparare senza modificare effettivamente i pesi del modello.

In altre parole, possono imparare a rispondere alla tua richiesta semplicemente fornendo loro i dati di cui hanno bisogno allo stesso tempo in cui stai richiedendo ciò di cui hai bisogno da loro… senza dover effettivamente addestrare il modello.

Questo concetto, noto anche come apprendimento zero-shot o apprendimento few-shot (a seconda delle volte in cui è necessario vedere i dati per imparare), è la capacità dei LLM di rispondere accuratamente a una richiesta data utilizzando dati che non hanno mai visto prima di quel momento.

Di conseguenza, maggiore è la finestra di contesto, più dati puoi fornire loro e, quindi, più complesse sono le query che possono rispondere.

Pertanto, sebbene le piccole finestre di contesto andassero bene per la chat e altre attività più semplici, erano completamente incapaci di gestire attività veramente potenti… fino ad ora.

La saga di Star Wars in istanti

Andrò al sodo.

Come ho già accennato, la nuova versione di Claude, versione 1.3, può inglobare in un solo colpo 100.000 token, o circa 75.000 parole.

Ma questo non ti dice molto, vero?

Lascia che ti dia un’idea migliore di cosa può contenere 75.000 parole.

 

Da Frankenstein ad Anakin

 

L’articolo che stai leggendo in questo momento ha meno di 2.000 parole, che è più di 37,5 volte meno di ciò che Claude è ora in grado di assimilare in una sola seduta.

Ma quali sono gli esempi di dimensioni comparabili? Bene, per essere più precisi, 75.000 parole rappresentano:

• Circa la lunghezza totale del libro di Mary Shelley, Frankenstein
• L’intero libro di Harry Potter e la Pietra Filosofale, che conta 76.944 parole
• Qualsiasi libro delle Cronache di Narnia, dato che tutti hanno un numero inferiore di parole
• E il numero più impressionante di tutti, è abbastanza per includere i dialoghi di fino a 8 dei film di Star Wars… combinati

Immagina ora un chatbot che, in pochi secondi, ti dia il potere di chiedergli qualsiasi cosa riguardo a un determinato testo.

Ad esempio, di recente ho visto un video in cui hanno dato a Claude un podcast di cinque ore di John Cormack, e il modello era in grado non solo di riassumere l’intero podcast in poche parole, ma anche di individuare cose particolari dette in un preciso momento nel corso di una sessione di parola di cinque ore.

È impensabile pensare che questo modello sia in grado di farlo con una trascrizione di 75.000 parole, ma la cosa incredibile è che funziona anche con dati che potrebbe vedere per la prima volta.

Senza dubbio, questa è la soluzione di punta per studenti, avvocati, ricercatori scientifici e fondamentalmente chiunque debba analizzare grandi quantità di dati contemporaneamente.

Per me, questo è un cambiamento di paradigma nell’AI come pochi ne abbiamo visti.

Senza dubbio, la porta all’innovazione veramente rivoluzionaria è stata aperta per gli LLM.

È incredibile come l’AI sia cambiata in pochi mesi, e come stia cambiando rapidamente ogni settimana. E l’unica cosa che sappiamo è che sta cambiando… un token alla volta.

    Ignacio de Gregorio Noblejas ha più di cinque anni di esperienza completa nel settore tecnologico e attualmente ricopre un ruolo di responsabile consulenza aziendale presso una società di consulenza di alto livello, dove ha sviluppato una solida esperienza nell’offrire orientamento strategico sull’adozione della tecnologia e iniziative di trasformazione digitale. La sua competenza non si limita al lavoro di consulenza, ma nel tempo libero condivide anche le sue profonde intuizioni con un pubblico più ampio. Educa e ispira attivamente gli altri sulle ultime novità nell’Intelligenza Artificiale (AI) attraverso i suoi scritti su VoAGI e la sua newsletter settimanale, TheTechOasis, che hanno un pubblico coinvolto di oltre 11.000 e 3.000 persone rispettivamente.

  Originale. Ripubblicato con il permesso.