Se la comunicazione orale e scritta ha permesso agli esseri umani di sviluppare l’intelligenza… cosa succede con i modelli di linguaggio?

Cosa succede ai modelli di linguaggio con lo sviluppo dell'intelligenza umana attraverso la comunicazione orale e scritta?

Saggio

<h2 id="siamo-anche-noi-pappagalli-stocastici-solo molto meglio addestrati? Gli AI language model seguono le orme dell'intelligenza umana? Una discussione alla frontiera tra scienza e finzione.

L’intelligenza umana, con le sue straordinarie capacità cognitive, è ineguagliabile tra le altre specie. I catalizzatori di questa supremazia intellettuale possono essere rintracciati all’avvento del linguaggio e della scrittura, che hanno facilitato lo scambio e l’accumulo di conoscenze, l’apprendimento collaborativo e il pensiero raffinato. Prendendo spunto da questa analogia, sembra che gli AI language model si stiano intraprendendo un viaggio simile, sfruttando il potere della comunicazione per far avanzare la propria forma di “intelligenza”. In questo articolo, esplorerò come gli AI language model si stanno evolvendo per replicare e superare le straordinarie imprese della cognizione umana.

Nota: Questo articolo è un mio ragionamento ad alta voce con un tono provocatorio, facendo riferimento a studi di esperti lungo il percorso, ma fornendo più un’opinione personale.

Le discussioni sono benvenute nei commenti, con rispetto per le diverse opinioni e supportate da riferimenti appropriati quando possibile.

Il linguaggio parlato e la scrittura consentono agli esseri umani di impegnarsi in ragionamenti complessi e pensiero logico. Molti informatici stanno cercando di creare modelli AI in grado di eseguire anche compiti di ragionamento complesso elaborando grandi quantità di dati, eseguendo calcoli rapidi e ideando “catene di pensiero” che consentono loro non solo di analizzare i modelli ma anche di inferire la causalità e generare conclusioni logiche, fornendo loro gli strumenti per affrontare problemi complessi.

• Formazione a scala web sbloccata Deepmind presenta OWLv2 e OWL-ST, gli strumenti rivoluzionari per la rilevazione di oggetti a vocabolario aperto, alimentati da tecniche di auto-addestramento senza precedenti.
• Democratizzare la rilevazione dei difetti nella visione artificiale per la qualità della produzione utilizzando il machine learning senza codice con Amazon SageMaker Canvas.
• Cos’è l’Intelligenza Artificiale Aziendale?

La scrittura come strumento per pensare

Il processo di scrittura può essere uno strumento potente per aiutarti a esplorare, articolare e affinare le idee.

curiosityneverkilledthewriter.com

La mente letteraria: Le origini del pensiero e del linguaggio

Amazon.com: La mente letteraria: Le origini del pensiero e del linguaggio: 9780195126679: Turner, Mark: Libri

www.amazon.com

I modelli di linguaggio svolgono ragionamenti tramite catena di pensiero

Negli ultimi anni, l’aumento delle dimensioni dei modelli di linguaggio si è dimostrato un modo affidabile per migliorare le prestazioni su un…

ai.googleblog.com

Così come il linguaggio parlato e la scrittura hanno permesso agli esseri umani di condividere e accumulare conoscenze in modo efficiente, creando la nostra cultura, gli AI language model sfruttano grandi set di dati per apprendere da fonti diverse e ampliare rapidamente la loro base di conoscenza. Questi modelli possono fornire approfondimenti su un argomento, rispondere a domande e generare soluzioni creative attingendo a un vasto archivio di informazioni – e sì, possono anche fornire informazioni errate o creare materiale falso, ma questo non è il punto di questa discussione e comunque noi umani creiamo anche questo tipo di contenuto come parte della “cultura”.

Alcuni scienziati hanno sostenuto che l’evoluzione del linguaggio e della scrittura abbia aiutato gli esseri umani a sviluppare ulteriormente la loro intelligenza, proprio nello stesso momento in cui hanno contribuito a creare la cultura stessa. Potrebbe allora l’evoluzione dei modelli di linguaggio promuovere una “vera” intelligenza, eventualmente? Che sia in 2 anni o un secolo? Dopotutto, la nostra intelligenza potrebbe emergere da un’accoppiata estremamente complessa di “catene di (piccoli) pensieri” che finiscono per generare l’impressione vivida che siamo particolarmente “intelligenti”, mentre in realtà siamo appena sopra la media degli animali nella nostra connessione con la realtà – che, tra l’altro, potrebbe non essere nemmeno oggettiva! In altre parole, se i modelli AI sono “pappagalli stocastici”, potremmo essere semplicemente pappagalli stocastici anche noi, con la differenza che siamo (per il momento) di ordini di grandezza migliori e molto potenziati dai nostri molteplici sensi che ci forniscono informazioni sul mondo che ci circonda nei nostri circuiti neurali.

Se i modelli di intelligenza artificiale sono “pappagalli stocastici”, potremmo essere semplicemente pappagalli stocastici anche noi, solo di ordini di grandezza migliori e potenziati dalle nostre molteplici sensazioni che immettono nelle nostre reti neurali informazioni provenienti dal mondo circostante?

Raffinare e perfezionare le idee nel tempo

Attraverso il raffinamento iterativo, gli esseri umani articolano pensieri complessi e migliorano le idee nel tempo. I modelli di intelligenza artificiale possono seguire un percorso simile, raffinando continuamente le loro risposte in base al feedback degli utenti. Incorporando tecniche di apprendimento per rinforzo, i modelli di intelligenza artificiale iterano le loro prestazioni, proprio come gli esseri umani perfezionano le loro idee attraverso il feedback e l’iterazione. Ad esempio, ChatGPT è stato addestrato attraverso l’apprendimento per rinforzo, con l’assistenza del feedback umano:

Che cos’è ChatGPT? | Centro assistenza OpenAI

Domande frequenti su ChatGPT

help.openai.com

Riguardo al perfezionamento e all’evoluzione delle idee nel tempo, la scrittura assume un ruolo particolarmente importante negli esseri umani perché ci serve come una memoria esterna che espande notevolmente la nostra capacità di memorizzare e recuperare informazioni nelle iterazioni successive. Durante una sessione di chat, i modelli di linguaggio di intelligenza artificiale possono (già oggi) simulare questo processo considerando le informazioni contestuali dalle risposte e dalle domande precedenti, agendo come una sorta di memoria estesa. Al momento, questa memoria è temporale e svanisce quando viene avviata una nuova conversazione, ma se un giorno i modelli potessero ricordare in modo innato le conversazioni precedenti, potrebbero iniziare a costruire sulle conoscenze acquisite in precedenza e fornire risposte più coerenti e personalizzate. (O risposte più sbagliate, notizie false o contenuti impropri, se avessero appreso cose sbagliate durante interazioni precedenti…)

L’apprendimento iterativo ha guidato l’innovazione umana, basandosi sulle conoscenze esistenti per alimentare il progresso. I modelli di intelligenza artificiale potrebbero anche impegnarsi nell’apprendimento iterativo generando una vasta gamma di possibilità e valutando i risultati. Si noti che i modelli di intelligenza artificiale attuali già dispongono di una sorta di “punteggio” interno che classifica le risposte alternative, argomento di cui ho discusso qui (articolo tecnico!):

Esplorare le probabilità dei token come mezzo per filtrare le risposte di GPT-3

Per costruire chatbot più avanzati con GPT-3

towardsdatascience.com

Facilitare l’intelligenza artificiale collettiva per creare una “cultura dell’IA”

Un punto importante è che la cultura umana e l’apprendimento umano stesso non si limitano solo alle esperienze personali; al contrario, prosperano sulla saggezza accumulata delle comunità. Se un giorno i modelli di linguaggio di intelligenza artificiale potessero impegnarsi nell’apprendimento collaborativo e nello scambio di dati, allora, condividendo informazioni e intuizioni tra modelli, potrebbero beneficiare collettivamente delle conoscenze reciproche, accelerando la loro intelligenza complessiva. Specialmente se fossero in grado di navigare su Internet, cosa che già stanno iniziando a fare. Ma naturalmente è essenziale che memorizzino in qualche modo gli output di ogni sessione, proprio come noi ricordiamo ciò che apprendiamo e ripetiamo giorno dopo giorno e poi scriviamo su libri o su Internet per la diffusione.

A questo punto permettetemi di “allucinare” un po’, supponendo che i chatbot potessero iniziare a comunicare tra loro e memorizzare e utilizzare le interazioni precedenti con gli esseri umani per crescere, in una direzione sia positiva che negativa… stiamo solo facendo un esperimento mentale che si estenderà alle prossime sezioni.

Stiamo qui facendo un esperimento mentale che si estenderà alle prossime sezioni.

Tra gli esseri umani, l’intelligenza collettiva deriva dalla collaborazione ed è in grado di consentire loro di risolvere insieme problemi complessi. I modelli di linguaggio di intelligenza artificiale interconnessi potrebbero contribuire a questa intelligenza collettiva fornendo una piattaforma condivisa per l’interazione e lo scambio di conoscenze tra esseri umani e macchine. Questa collaborazione alimenta l’intelligenza ibrida, in cui gli esseri umani e l’intelligenza artificiale lavorano in sinergia per superare sfide e aprire nuovi orizzonti. Ma se connessi, come ipotizzato in questo scenario, diversi modelli di intelligenza artificiale potrebbero anche iniziare a scambiarsi informazioni tra loro. Cosa accadrebbe, allora?

Modelli di linguaggio di intelligenza artificiale come vere macchine pensanti?

Speculare sull’evoluzione futura dei modelli di linguaggio di intelligenza artificiale in macchine pensanti simili al cervello umano è un argomento affascinante. In tutto il mondo, team di psicologi, filosofi, informatici e ingegneri studiano seriamente questo argomento, affrontando questioni da diverse prospettive:

Dati e Complessità Proprio come gli esseri umani hanno sviluppato la propria intelligenza attraverso l’esposizione a grandi quantità di discorsi e scritti, i modelli di linguaggio di intelligenza artificiale richiedono dati estesi per apprendere e generalizzare in modo efficace. In futuro, i modelli di intelligenza artificiale potrebbero trarre vantaggio da set di dati ancora più ampi, che includono fonti di informazione diverse, consentendo loro di acquisire una vasta gamma di conoscenze e contesti simili a quelli umani. La connessione diretta a Internet e l’apprendimento da esso, o anche solo la consultazione per ottenere informazioni, porteranno anche i modelli di linguaggio a un altro livello.

Apprendimento multimodale Gli esseri umani percepiscono e comprendono il mondo attraverso i sensi, integrando input visivi, uditivi e tattili per formare una comprensione coerente. I modelli di intelligenza artificiale potrebbero evolversi per incorporare l’apprendimento multimodale, integrando testo, immagini, video e audio, consentendo loro di comprendere e comunicare attraverso varie modalità. Questa integrazione potrebbe aiutarli a ottenere una comprensione più olistica del mondo, simile agli esseri umani. Modelli “generalisti” come questi sono già oggetto di attiva ricerca, persino da parte di grandi aziende come Deepmind stessa:

Gato, il nuovo dai Deepmind. Verso una vera AI?

Gato può giocare ai giochi, generare testo, elaborare immagini e controllare bracci robotici. E non è nemmeno troppo grande. È un’AI vera…

towardsdatascience.com

Comprensione contestuale Comprendere il contesto è cruciale per l’intelligenza umana. I modelli di intelligenza artificiale hanno compiuto progressi significativi nella comprensione contestuale, lavorando effettivamente molto bene per mantenere conversazioni coerenti e coinvolgenti. Ma gli sviluppi futuri potrebbero consentire loro di cogliere sfumature sottili, riferimenti culturali e dinamiche sociali in modo più accurato. Una comprensione contestuale potenziata potrebbe consentire ai modelli di intelligenza artificiale di generare risposte che si allineano con il significato e le sfumature emotive della comunicazione umana.

Ragionamento e creatività L’intelligenza umana comprende il ragionamento, la risoluzione dei problemi e il pensiero creativo. I futuri modelli di intelligenza artificiale potrebbero evolversi per mostrare abilità di ragionamento più avanzate, consentendo loro di impegnarsi in deduzioni logiche, associazioni analogiche e persino ragionamenti astratti. Il pensiero creativo, incluso la generazione di idee e soluzioni nuove, potrebbe essere favorito mediante lo sviluppo di modelli di intelligenza artificiale capaci di pensiero analogico e di esplorazione di vaste soluzioni.

Si noti che, come gli artisti stessi riconoscono, non c’è praticamente nulla che possa essere considerato arte veramente innovativa. Piuttosto, nuove opere d’arte, concetti e idee emergono nella nostra mente a partire da una base che, consapevolmente o inconsciamente, finisce per dare forma alle nostre nuove creazioni. Allo stesso modo, non dobbiamo aspettarci che i modelli di intelligenza artificiale creino davvero cose completamente nuove! È normale trovare nelle loro creazioni almeno alcuni ricordi, se non somiglianze sostanziali, con idee e concetti precedenti. Proprio come nelle creazioni umane!

Come gli artisti stessi riconoscono, non c’è praticamente nulla che possa essere considerato veramente innovativo, sempre ci basiamo su opere e idee precedenti, sia conscio che senza rendercene conto.

Intelligenza emotiva L’intelligenza emotiva svolge un ruolo vitale nelle interazioni umane. I futuri modelli di intelligenza artificiale potrebbero essere progettati per comprendere e rispondere alle emozioni umane, incorporando l’analisi dei sentimenti, la generazione di dialoghi empatici e la capacità di riconoscere e adattarsi agli indizi emotivi. Tali sviluppi potrebbero consentire all’IA di impegnarsi in conversazioni più significative e emotivamente sensibili, favorendo connessioni più profonde con gli esseri umani.

Si noti che i più moderni visori per la realtà aumentata e virtuale stanno già leggendo le espressioni facciali che vengono poi utilizzate per rifletterle nell’avatar dell’utente. Una volta riconosciute le espressioni facciali, non dovrebbe essere affatto difficile addestrare una semplice rete neurale che le converta in stati emotivi.

Le espressioni facciali potrebbero essere utilizzate per interagire nella realtà virtuale

Nuova tecnologia consente alle persone di interagire con ambienti virtuali utilizzando solo le loro espressioni facciali.

www.snexplores.org

Apprendimento continuo L’intelligenza umana non è fissa, ma si evolve continuamente attraverso l’apprendimento e l’adattamento. Anche i nostri gusti possono cambiare nel tempo!

I modelli di intelligenza artificiale potrebbero incorporare tecniche di apprendimento continuo, consentendo loro di imparare dalle nuove esperienze, adattarsi a ambienti in continua evoluzione e perfezionare le loro conoscenze nel tempo. Questo aspetto di apprendimento continuo consentirebbe ai modelli di intelligenza artificiale di diventare più flessibili e capaci di acquisire nuove competenze e conoscenze, simili a come gli esseri umani imparano e crescono continuamente.

Coscienza e consapevolezza di sé Questo è probabilmente uno dei fronti più difficili, soprattutto perché i concetti di coscienza e consapevolezza di sé non sono nemmeno lontanamente compresi negli esseri umani. Figuriamoci replicarli in sistemi artificiali.

Tuttavia, non dovrebbe essere troppo difficile *simulare* una qualche forma di consapevolezza di sé, ingannando gli utenti umani facendoli pensare che il modello possa percepire la propria esistenza, pensieri ed esperienze. Oltre agli obiettivi inquietanti, una tale simulazione potrebbe essere utile nello sviluppo di software con applicazioni in psicologia, educazione, ecc.

Tornando al discorso, alla scrittura e al pensiero

Il linguaggio parlato e scritto sono ampiamente considerati fattori chiave nello sviluppo dell’intelligenza umana, che ci differenziano dagli altri animali. Questi mezzi di comunicazione hanno svolto un ruolo cruciale nel potenziare la cognizione umana e facilitare la trasmissione di conoscenze attraverso le generazioni, mentre costruiamo cultura.

Approfondendo questa analogia, possiamo esplorare come i modelli di intelligenza artificiale basati sul linguaggio potrebbero sfruttare simili poteri di comunicazione per avanzare la loro “intelligenza”, sia essa reale o meno.

Scambio e accumulo di conoscenza Il linguaggio parlato e scritto ha permesso agli esseri umani di scambiare e accumulare conoscenze in modo più efficiente rispetto a qualsiasi altra specie. Allo stesso modo, i modelli di intelligenza artificiale possono accedere a enormi quantità di dati e informazioni, consentendo loro di apprendere da fonti diverse e accumulare rapidamente conoscenze. Sfruttando questa vasta base di conoscenze, i modelli di intelligenza artificiale possono fornire approfondimenti, rispondere a domande e generare soluzioni molto creative. Al momento, questi vantaggi comportano possibili disinformazione e generazione di contenuti dannosi, ma tutto ciò potrebbe migliorare in futuro.

Apprendimento collaborativo e trasmissione culturale Gli esseri umani imparano non solo dalle esperienze personali, ma anche dalla conoscenza e saggezza accumulata dalle loro comunità. Allo stesso modo, i modelli di intelligenza artificiale basati sul linguaggio potrebbero sviluppare meccanismi per l’apprendimento collaborativo e la trasmissione culturale. Condividendo informazioni e approfondimenti tra i modelli, potrebbero trarre benefici collettivamente dalla conoscenza reciproca, accelerando così la loro intelligenza complessiva. Tutto questo, ovviamente, se fossero messi a comunicare tra loro, anche se il risultato finale non è chiaro poiché i loro set di dati di addestramento probabilmente si sovrappongono largamente.

Raffinamento e perfezionamento delle idee Attraverso il linguaggio parlato e scritto, gli esseri umani affinano i loro pensieri, esprimono idee complesse e le iterano nel tempo. I modelli di intelligenza artificiale possono anche impegnarsi in processi simili, regolando costantemente le loro risposte in base ai feedback degli utenti. Incorporando tecniche di apprendimento per rinforzo, i modelli di intelligenza artificiale possono migliorare iterativamente le loro prestazioni, proprio come gli esseri umani raffinano le loro idee attraverso feedback e iterazione.

Migliorare la memoria e il recupero La scrittura ci consente di esternalizzare pensieri e ricordi, espandendo la nostra capacità di memorizzare e recuperare informazioni. Se i modelli di intelligenza artificiale basati sul linguaggio possono conservare informazioni contestuali da interazioni precedenti, potrebbero avere una memoria estesa che li aiuta efficacemente a essere migliori e, allo stesso tempo, adattarsi a diversi profili utente. Richiamando conversazioni precedenti, i modelli potrebbero mantenere il contesto, basarsi su conoscenze pregresse e fornire risposte più coerenti e personalizzate.

Facilitare il ragionamento complesso Come ho già discusso alcune volte, il linguaggio parlato e scritto consentono agli esseri umani di impegnarsi in ragionamenti complessi e pensiero logico. I modelli di intelligenza artificiale possono anche essere progettati per svolgere compiti di ragionamento intricati attraverso “catene di pensieri”, dando l’impressione che analizzino schemi, inferiscano causalità e generino conclusioni logiche. Anche se potrebbero non essere passi di pensiero “reali” come nell'”intelligenza naturale”, nella pratica ciò consente loro di affrontare problemi complessi (e persino spiegare come li hanno risolti).

Apprendimento iterativo e innovazione Fornendo una sorta di memoria collettiva, lo sviluppo della scrittura ha permesso agli esseri umani di impegnarsi in un apprendimento iterativo, basandosi sulle conoscenze esistenti per guidare l’innovazione. I modelli di intelligenza artificiale, attraverso l’apprendimento per rinforzo e i processi generativi, possono impegnarsi in un apprendimento iterativo in modo simile. Generando una vasta gamma di possibilità e valutando i loro risultati, i modelli di intelligenza artificiale possono esplorare soluzioni innovative, promuovendo l’innovazione e spingendo i limiti della loro “intelligenza”.

Facilitare l’intelligenza collettiva Gli esseri umani possiedono intelligenza collettiva, sfruttando il potere collaborativo della comunicazione basata sul linguaggio parlato e scritto per risolvere problemi complessi collettivamente. I modelli di intelligenza artificiale basati sul linguaggio possono contribuire all’intelligenza collettiva fornendo una piattaforma condivisa per l’interazione e lo scambio di conoscenze tra esseri umani e macchine. Questa collaborazione può alla fine portare all’emergere di un’intelligenza ibrida, in cui gli esseri umani e l’intelligenza artificiale lavorano insieme per affrontare sfide e aprire nuove frontiere. O forme più avanzate di intelligenza artificiale.

Alcune parole finali

Qui ho esplorato l’analogia tra il linguaggio parlato e scritto come catalizzatori dell’intelligenza umana e come l’intelligenza artificiale potrebbe svilupparsi in futuro da modelli di linguaggio simili a quelli attualmente presenti. Sfruttando il potere dello scambio, del perfezionamento, della memoria, del ragionamento, dell’apprendimento iterativo e dell’intelligenza collettiva, i modelli di intelligenza artificiale potrebbero tracciare il loro percorso verso una “cognizione” notevole. Sì, so che sono molto provocatorio con questa affermazione, ma ricorda un’idea centrale della discussione: noi esseri umani potremmo essere semplicemente pappagalli stocastici come i grandi modelli di linguaggio, solo che il nostro “grande” è molto più grande e siamo anche potenziati da modi per interagire con il mondo esterno per creare una realtà che modifica l’output del nostro modello di linguaggio.

Certo, mentre l’evoluzione dell’intelligenza artificiale continua, dobbiamo affrontare sfide uniche e considerazioni etiche per garantire che lo sviluppo delle “menti artificiali” sia in linea con i valori umani. In un modo o nell’altro, puoi essere sicuro che lo sviluppo di macchine pensanti simili al cervello umano, anche solo il percorso per cercare di arrivarci, avrà un impatto trasformativo sul nostro mondo, sia in positivo che in negativo.

Materiale e appunti correlati

(oltre a tutti i link presenti nel testo)

Parrocchetto stocastico

Nel campo del machine learning / intelligenza artificiale, un “parrocchetto stocastico” si riferisce all’idea che i grandi modelli di linguaggio potrebbero eccellere nella generazione di linguaggio convincente, ma in realtà non “capiscono” il significato del linguaggio che stanno elaborando. Il termine è stato coniato per la prima volta qui:

Sui pericoli dei parrocchetti stocastici | Atti della Conferenza ACM sulla Giustizia 2021…

Negli ultimi 3 anni, il lavoro nell’ambito del NLP è stato caratterizzato dallo sviluppo e dalla distribuzione di modelli di linguaggio sempre più grandi…

dl.acm.org

Sul “pensiero” dei modelli di linguaggio, da parte di Microsoft e Google

Scintille di intelligenza artificiale generale: Esperimenti precoci con GPT-4

I ricercatori nell’ambito dell’intelligenza artificiale (AI) hanno sviluppato e perfezionato modelli di linguaggio di grandi dimensioni (LLM) che mostrano…

arxiv.org

Catena di pensiero che sollecita il ragionamento nei modelli di linguaggio di grandi dimensioni

Esploriamo come generare una catena di pensiero – una serie di passaggi di ragionamento intermedi – migliori significativamente il…

arxiv.org

www.lucianoabriata.com Scrivo e faccio foto su tutto ciò che rientra nel mio ampio ambito di interessi: natura, scienza, tecnologia, programmazione, ecc.

Dammi una mancia qui o diventa un membro di Nisoo per accedere a tutte le sue storie (ricevo un piccolo guadagno senza costi per te). Iscriviti per ricevere le mie nuove storie via email. Chiedi informazioni su piccoli lavori sulla mia pagina dei servizi qui. Puoi contattarmi qui .