Esplorazione del mondo dell’IA generativa, modelli di base e modelli di linguaggio estesi concetti, strumenti e tendenze

Esplorazione dell'IA generativa, modelli di base e linguaggio esteso, strumenti e tendenze

L’Intelligenza Artificiale (AI) ha compiuto progressi enormi negli ultimi anni, principalmente grazie agli avanzamenti nel Deep Learning. Con l’avvento di ChatGPT l’anno scorso, la popolarità del mondo dell’AI generativa è aumentata con l’emergere di molte parole che generano confusione, come Foundation Models, Large Language Models, GPT-3 e GPT-4, PaLM e PaLM 2, LLaMA e LLaMA 2, Falcon, ChatGPT, Bard, Claude 2 e così via. L’intenzione è quella di fornire una migliore comprensione dei concetti legati all’AI generativa ed esplorare tendenze e strumenti, con la premessa che questo articolo non è esaustivo sull’argomento ed è focalizzato sui contenuti testuali.

L’AI generativa è un sottoinsieme dell’Universo dell’Intelligenza Artificiale in continua crescita, specialmente dallo scorso anno con l’avvento di ChatGPT. Il termine “AI generativa” si riferisce a modelli di Deep Learning capaci di generare nuovi contenuti come testo, immagini, video, audio, strutture e così via.

I “Foundation Models” sono un tipo di AI generativa che vengono addestrati su grandi quantità di dati non strutturati in modo non supervisionato per imparare rappresentazioni generali che possono essere adattate per eseguire molteplici compiti in diversi domini. Il loro obiettivo è fornire una base per la creazione di molte diverse applicazioni di AI. I modelli foundation vantano vantaggi in termini di prestazioni, efficienza e scalabilità rispetto ai modelli tradizionali di AI addestrati su dati specifici per compiti specifici.

Ad esempio, i modelli foundation possono essere sviluppati per scopi legati al cambiamento climatico, utilizzando dati geospaziali per migliorare la ricerca climatica. Un altro esempio può essere lo sviluppo di modelli foundation per la scrittura del codice, che aiutano a completare il codice mentre viene scritto.

• NLP moderno una panoramica dettagliata. Parte 2 GPT
• Questo articolo sull’Intelligenza Artificiale presenta un metodo avanzato per la Privacy Differenziale nella riconoscimento delle immagini con una migliore precisione
• Le nuove istruzioni personalizzate di ChatGPT sono appena state rilasciate. Ecco come usarle.

I “Large Language Models” (LLM) sono un sottoinsieme dei Foundation Models focalizzati sulla generazione e comprensione del testo. Vengono addestrati su grandi quantità di dati testuali.

Ok, diamoci alcuni esempi…

“GPT-3” è stato rilasciato da OpenAI nel 2020. Ha una dimensione di 175 miliardi di parametri ed è stato addestrato su 300 miliardi di token con una dimensione della finestra di contesto di 2.048 token. “GPT-4” è stato rilasciato nel marzo 2023 ed è un miglioramento di GPT-3 con una dimensione della finestra di contesto di 32.768 token. È un modello multimodale in grado di accettare input di immagini e testo e produrre output di testo.

“PaLM” è stato rilasciato da Google nel 2022 con una dimensione di 540 miliardi di parametri attivati in modo denso ed è stato addestrato su 780 miliardi di token con una dimensione della finestra di contesto di 2.048 token. Google ha anche lanciato “PaLM 2” nel maggio 2023, che è più veloce, relativamente più piccolo e conveniente in termini di costo in quanto richiede meno parametri e supporta più di 100 lingue, raggiungendo una dimensione della finestra di contesto di 8.000 token. Non è multimodale come GPT-4, ma la capacità multimodale è stata aggiunta con Med-PaLM 2 limitata solo al dominio medico.

“LLaMA” è stato sviluppato da Meta e rilasciato nel febbraio 2023. Ha modelli che vanno da 7 miliardi a 65 miliardi di parametri addestrati su trilioni di token. A partire da luglio 2023, è disponibile “LLaMA 2” che ha migliorato la prima versione, raggiungendo 70 miliardi di parametri e aumentando la dimensione della finestra di contesto da 2.048 token a 4.096 token.

“Falcon” è stato sviluppato da Technology Innovation Institute (TII) e la prima versione è stata rilasciata nell’ottobre 2021 con modelli che vanno da 7 miliardi a 40 miliardi di parametri, addestrati su un trilione di token provenienti da dati web di alta qualità. Può essere scaricato da Hugging Face.

“Dolly” è stato sviluppato da Databricks e rilasciato nel marzo 2023. Ha una dimensione di 12 miliardi di parametri, basato sul modello Pythia di EleutherAI e ottimizzato su un corpus di istruzioni di 15.000 record generato tra i dipendenti di Databricks.

Tutti questi LLM utilizzano un modello basato su Transformer per prevedere il prossimo token in un documento, ovviamente con alcune differenze nelle loro architetture.

Puoi esplorare la classifica di Hugging Face con l’obiettivo di monitorare, classificare e valutare LLM e chatbot aperti man mano che vengono rilasciati.

Questi modelli rappresentano il motore con cui vengono costruiti strumenti di AI generativa come ChatGPT. Se facciamo il confronto con un’auto, i LLM sono il motore dell’auto. Nel frattempo, i chatbot rappresentano la carrozzeria.

ChatGPT è il primo chatbot AI generativo presentato da OpenAI sul mercato nel novembre 2022, è stato addestrato a partire dai modelli di linguaggio GPT-3.5 o GPT-4 Large utilizzando il reinforcement learning dal feedback umano (RLHF). Ci permette di chattare in modo conversazionale, supportando molte attività come rispondere a domande, scrivere riassunti, debug di codice, generare testi e altro.

Bard è il principale concorrente di ChatGPT sviluppato da Google e rilasciato nel febbraio 2023. Inizialmente basato sul modello di linguaggio LaMDA Large e successivamente potenziato da PaLM 2. Funziona come ChatGPT, è in grado di comprendere e generare testo in molte lingue, con la differenza che viene aggiornato in tempo reale, il che significa che può accedere alle informazioni dal web per fornire risposte più precise e di alta qualità.

h2oGPT appartiene alla nuova generazione di chatbot sviluppata dalla piattaforma H2O.ai, supporta una varietà di modelli: GPT 3.5 Turbo, LLaMA 2, Falcon… Puoi usarlo sia online che localmente, ha una modalità di interfaccia utente che consente di confrontare gli output di diversi modelli contemporaneamente.

Claude 2 è sviluppato da Anthropic e funziona come ChatGPT, comprendendo e generando testi e fornendo risposte innocue aggiornate in tempo reale, è un promettente concorrente di ChatGPT e Bard.

Dato che ChatGPT funziona ed è davvero utile per aumentare la produttività, non è solo una moda del momento, ma un’attività commerciale con l’opportunità di crescere nei prossimi anni. Per questo motivo, Google ha investito in Bard e anche altre aziende hanno deciso di entrare nel mercato come i chatbot precedentemente citati e altri strumenti di AI generativa.

Nella prossima immagine viene mostrato l’interesse crescente in ChatGPT rispetto a Bard e agli altri chatbot menzionati in tutto il mondo negli ultimi 30 giorni secondo le tendenze di Google.

Claude 2 e h2oGPT hanno un sovrapposizione con un basso livello di interesse, quindi la competizione è tra ChatGPT e Google Bard, con il primo che ha un chiaro vantaggio con un grande divario finora.

Guardando il confronto con una finestra temporale di un anno, ChatGPT ha raggiunto il massimo livello di interesse durante la primavera del 2023 e adesso ha subito un calo.

Da queste due immagini e dalla successiva, la domanda che mi pongo è: “Nei prossimi mesi o anni, il vantaggio competitivo di ChatGPT sarà eroso o, dato che ChatGPT è entrato per primo nel mercato, si è consolidato come uno strumento permanente per gli utenti come la ricerca di Google rispetto ad altri strumenti di ricerca?”

Goditi il tuo chatbot AI generativo preferito.