All’interno del funzionamento interno di CHATGPT Una risposta per ogni domanda che ti poni sull’IA
Funzionamento interno di CHATGPT risposte a tutte le tue domande sull'IA
Immergiti nelle processi di fondo di ChatGPT per capire come funziona e trovare la risposta alle tue domande sull’IA.
Tutti sappiamo che ChatGPT è un chatbot di intelligenza artificiale facile da usare che risponde alle nostre domande e soddisfa i nostri comandi fornendoci risultati piacevolmente simili a quelli umani. Ma quanti di voi conoscono effettivamente come funziona ChatGPT? Quanti di voi sono familiari con il processo di generazione delle risposte? Alcuni di voi potrebbero saperlo, ma scommetto che molte persone non lo sanno.
Ci sono molte domande su ChatGPT. Dopo aver letto molto e informatomi, ho scoperto che le risposte ad alcune domande frequenti su ChatGPT si nascondono nei suoi metodi di lavoro interno. Capendo come ChatGPT elabora i dati e come genera le sue risposte, puoi trovare la risposta alle domande che ti poni sempre sull’IA.
FUNZIONAMENTO INTERNO
Addestramento con dati web
ChatGPT viene addestrato con dati provenienti da tutto il web. Questi dati provengono da ogni testo scritto pubblicato sul web: libri, articoli, siti web, file di testo, blog, recensioni, tutto. Fondamentalmente, tutti i dati testuali disponibili pubblicamente.
Tutti questi dati vengono utilizzati per “educare” il modello in qualche modo in modo che possa avere una comprensione generale del mondo. Elaborando e analizzando questi dati, impara le strutture linguistiche, le regole grammaticali, le relazioni, le espressioni, i modelli e ogni tipo di informazione che lo aiuta a generare risposte di alta qualità.
- Un’introduzione a Pymc e il linguaggio per descrivere modelli statistici
- Ricercatori dell’Università di Massachusetts Lowell propongono ReLoRA un nuovo metodo di intelligenza artificiale che utilizza aggiornamenti a basso rango per l’addestramento ad alto rango.
- Incontra ImpressionGPT un framework di ottimizzazione iterativa basato su ChatGPT per le sintesi dei resoconti di radiologia
Non utilizza direttamente questi dati per generare risposte. Ovviamente li utilizza per presentare fatti e rispondere alle domande, ma non è il suo obiettivo principale. Questi dati servono ad addestrare ChatGPT, a fargli capire alcune cose e a dargli un po’ di “conoscenza iniziale” con cui può capire e aiutarci. Per generare effettivamente le risposte, ChatGPT utilizza un’altra tecnica…
Completamento delle frasi
Ecco come ChatGPT genera le risposte. Il completamento delle frasi o il completamento delle conversazioni è la tecnica che utilizza per creare e generare l’output. Dopo aver analizzato l’input dell’utente, ChatGPT predice quali parole dovrebbero seguire nella frase.
Tutti abbiamo qualcosa del genere sui nostri telefoni quando inviamo messaggi. Sto parlando delle auto-suggerimenti. Ma non è esattamente la stessa cosa. Qui, l’algoritmo è molto più avanzato e ottimizzato. Può predire parole, frasi e persino interi paragrafi.
Questa “previsione” è un insieme di complessi calcoli matematici. Applica le competenze apprese dal suo addestramento (contesto, grammatica, modelli, relazioni) per valutare diverse probabilità e scenari per le parole che potrebbero seguire. Dopo questi calcoli, il modello produce alcuni dei migliori risultati, ne seleziona uno e genera la sua risposta.
Addestramento umano
La tecnica del completamento delle frasi non è sufficiente per coprire tutti gli input possibili che l’utente potrebbe scrivere. Se scrive qualcosa del tipo: “Cos’è l’ingegneria?”, allora il modello di completamento delle frasi dovrebbe farcela, ma se l’utente scrive qualcosa del genere: “Spiegami come funziona l’ingegneria.”, è un’altra storia.
Ecco perché ChatGPT ha un’altra carta nella manica: l’addestramento delle conversazioni umane. Probabilmente sai che le tue conversazioni con ChatGPT come utente vengono salvate come feedback da cui il modello impara e migliora se stesso. Questo lo aiuta molto a migliorare le sue prestazioni nelle future conversazioni con gli utenti.
Ma c’è anche un’altra tecnica. Si chiama “apprendimento per rinforzo” ed è uno scenario in cui gli addestratori umani dell’IA valutano e valutano le risposte generate da ChatGPT per migliorare le sue prestazioni. Supponiamo che il modello fornisca 4 diverse risposte a un input identico. Bene, gli addestratori dell’IA valuteranno ognuna delle 4 risposte in base a una scala specifica (da 1 a 10 per semplificare) e caricheranno i loro punteggi nell’IA.
RISPOSTE ALLE DOMANDE FREQUENTI
Perché ChatGPT funziona meglio con input in inglese?
ChatGPT è fluente in molte lingue, il che rende facile per le persone che parlano solo una lingua e hanno difficoltà nell’apprendere altre lingue. Ma la qualità delle risposte di ChatGPT è generalmente migliore quando gli input sono scritti in inglese.
Questo perché i dati su cui è stato addestrato provengono dal web, come ho già accennato. E qual è la lingua più utilizzata sul web? Sì, esatto, l’inglese. Ci sono molti più articoli, file di testo, pagine web e recensioni scritte in inglese rispetto alle altre lingue. Quindi, ChatGPT ha a disposizione molte più risorse in inglese da cui può imparare e migliorare le sue prestazioni.
Ma hai notato che ho detto che la qualità delle risposte è generalmente migliore? L’ho fatto perché dipende da ciò che stai cercando. Se l’argomento di cui cerchi informazioni è più specifico per una lingua o un paese, potresti ricevere risposte migliori in altre lingue rispetto all’inglese.
Permettimi di chiarire. Supponiamo che tu sia interessato alla conquista spagnola delle Americhe. Beh, dato che è un argomento strettamente legato alla cultura e alla storia spagnola, è molto probabile che ci sia più informazione in spagnolo piuttosto che in inglese. In tal caso, la risposta sarà migliore in spagnolo.
Perché ChatGPT commette errori?
Tutti sanno che ChatGPT non è perfetto, tutti sanno che a volte commette errori. Sarai sorpreso quando ti rivelerò il motivo. È colpa nostra se ChatGPT commette errori; è colpa dell’essere umano, o più precisamente, colpa di coloro che scrivono cose sul web.
Dato che i dati web utilizzati per l’addestramento del nostro noto chatbot di intelligenza artificiale sono scritti da esseri umani come te e me, ci sono errori e incomprensioni su determinati fatti ed eventi. Gli esseri umani commettono errori; le macchine no. Purtroppo, ChatGPT non ha alcun “rilevatore di informazioni false” che può utilizzare per verificare le informazioni, ma è quello che è. Ora conosci il motivo.
Ma hey, non prendertela personalmente quando dico che è colpa nostra. Tutti commettono errori. Se questo articolo che stai attualmente leggendo viene utilizzato per l’addestramento di uno dei futuri modelli GPT e ci sono errori in esso, c’è una possibilità che il chatbot ti dia informazioni false a causa mia. Quindi non sentirti male quando stai scrivendo qualcosa sul web. A proposito, se ciò accade davvero, mi dispiace😇😅.
Perché le risposte di ChatGPT cambiano continuamente?
Hai notato che quando dai a ChatGPT un prompt e poi gli dai esattamente lo stesso prompt senza cambiare nulla, la risposta è diversa rispetto a quella precedente? Questo meccanismo deriva dal modello di completamento delle frasi.
Viene aggiunta una casualità al modello di completamento delle frasi quando sceglie quali dovrebbero essere le parole successive. Ti ho detto che sceglie tra più proposte che ritiene sufficientemente buone per continuare la frase. La prima volta, sceglierà una di queste proposte, e la seconda volta un’altra. Questo viene fatto per evitare la ripetitività.
Come fa ChatGPT a comprendere e interpretare il contesto in una conversazione?
Prima di generare una risposta, ChatGPT analizza la conversazione esaminando ciò che l’utente ha detto negli input precedenti. Si concentra sulle parti importanti della cronologia della conversazione. È la stessa cosa con i dati web su cui è stato addestrato, ma questa volta impara direttamente dalla conversazione.
Questo è chiamato “meccanismo di attenzione”. Ciò consente al chatbot di comprendere il flusso della conversazione così come le intenzioni e i riferimenti dell’utente. Aiuta anche a dare priorità alle informazioni pertinenti per fornire una risposta adeguata senza infastidire l’utente con spiegazioni e dettagli superflui sul contesto.
Conclusioni
Possiamo trovare le risposte a molte domande analizzando e comprendendo il funzionamento interno di qualcosa. È molto utile scoprire i processi e gli algoritmi nascosti degli strumenti e delle tecnologie che utilizziamo ogni giorno. ChatGPT è una di queste tecnologie ed è per questo che ho scritto questo articolo.
Spero che non sia stato troppo complicato da capire e che abbia aggiunto un po’ di chiarezza su come funziona e opera ChatGPT. Ora che sai tutto questo, condividilo con qualcuno che non lo sa così potrà essere intelligente come te. Sto scherzando, naturalmente.
Risorse
- AI BOX
- Zapier
- Arvin Ash — Youtube
