Scegli la tua arma strategie di sopravvivenza per consulenti AI depressi

Scegli l'arma strategie di sopravvivenza per consulenti AI depressi

Foto di Sepehr Samavati su Unsplash

Di recente è stato rilasciato un nuovo film di Terminator. In questo nuovo episodio, la resistenza umana del futuro invia un robot indietro nel tempo per distruggere la fattoria dei server di OpenAI, prevenendo così l’emergere di ChatGPT e AGI. Questo non è vero, ma che ne pensi?

Come praticante di intelligenza artificiale, come ti senti riguardo agli sviluppi recenti dell’AI? Oltre all’entusiasmo per la sua nuova potenza, ti sei chiesto come puoi mantenere la tua posizione nel flusso in rapido movimento dell’AI?

La nascita di ChatGPT ha suscitato un grande interesse. Le persone sono affascinate dal suo potere ma sono anche spaventate dal suo futuro sconosciuto. Questo sentimento confuso di amore e odio sta confondendo il pubblico generale e anche i professionisti dell’AI.

Di recente ho letto un articolo che è stimolante e veramente unico [1]. Invece di concentrarsi sugli aspetti tecnici, gli autori esplorano le ansie vissute dai ricercatori a causa delle sfide dell’avanzamento rapido dell’AI.

È interessante sapere che anche i ricercatori accademici dei migliori istituti sono preoccupati di “non far fronte al ritmo attuale dell’avanzamento dell’AI”. L’articolo rivela che i ricercatori affrontano le stesse limitazioni di risorse dei professionisti del settore, il che non sorprende perché l’addestramento dei modelli sta diventando così costoso. Gli autori propongono strategie su come fare ricerca con risorse limitate.

Pur apprezzando la franchezza degli autori, le loro suggerimenti sono principalmente rivolti ai ricercatori di AI piuttosto che ai praticanti. In questo articolo, esplorerò come noi, come praticanti di AI, possiamo adattarci a questa sfida. Poiché questo argomento viene raramente discusso, mi piace fare da apripista. Spero che troverai la discussione stimolante; tuttavia, nota che queste sono le mie opinioni personali e accolgo ulteriori prospettive.

Indice

· Perché è importante· Il primo principio· Conoscere le limitazioni· Avere la visione d’insieme· Responsabilità ∘ Spiegabilità ∘ Equità ∘ Sicurezza ∘ Privacy e sicurezza dei dati· L’ingegneria è il nostro campo di competenza· Parole conclusive· Riferimenti

Perché è importante

In passato, le persone avevano una comprensione chiara delle tecnologie e degli strumenti da utilizzare per i loro compiti di apprendimento automatico. Erano familiari con i processi di modellazione dei temi e analisi del sentiment, conoscevano tutte le librerie che usavano e si sentivano come dei direttori d’orchestra. Tuttavia, con l’avvento di LLM, tutto è cambiato. Sembra che LLM governi tutto e, interessantemente, nessuno sa come funzionino i LLM. Ora, le persone si stanno chiedendo se dovrebbero ancora sviluppare soluzioni diverse dai LLM ma sanno poco su come rendere le soluzioni basate su LLM responsabili.

C’erano distinzioni significative tra ricercatori accademici, praticanti di ML e i loro clienti. I ricercatori si concentravano sullo sviluppo di nuovi concetti con tutta la loro affascinante magia accademica; mentre i clienti erano consapevoli che i consulenti di ML avevano competenze che loro e il loro team non avevano, i consulenti di ML erano orgogliosi di fornire il loro contributo unico. Tutti erano felici. Tuttavia, i grandi modelli di linguaggio emergenti hanno cambiato significativamente il mondo.

Oggi, l’AI generativa rende le capacità avanzate dell’AI molto più accessibili agli utenti finali, mentre la maggior parte dei ricercatori accademici non è in grado di studiare nuovi modelli di base perché addestrare un nuovo modello è troppo costoso. Tutti usano i LLM allo stesso modo: principalmente con suggerimenti, raramente con il fine-tuning. Tutti sono confusi dal problema dell’allucinazione e le soluzioni sono tutte sperimentali. Le competenze matematiche avanzate non sono molto importanti nello sviluppo dei LLM. Di conseguenza, tutti gli utenti di LLM stanno risolvendo lo stesso problema utilizzando la stessa tecnologia e ottenendo lo stesso risultato. Di conseguenza, i LLM hanno avvicinato ricercatori accademici, praticanti e clienti finali.

I consulenti di ML, che vivono offrendo servizi di ML, potrebbero chiedersi: come giustifichiamo la nostra professione in questo scenario se i ricercatori stanno risolvendo problemi pratici e i clienti possono utilizzare gli strumenti AI all’avanguardia da soli?

Foto di Gioele Fazzeri su Unsplash

Il Primo Principio

L’IA generativa è un campo così vivace che ogni settimana o due vengono annunciati nuovi modelli, nuovi prodotti e nuove teorie. Non è facile tenere il passo. Ma prima di immergerci in ognuno degli sviluppi emergenti, dobbiamo tornare al primo principio e pensare a quale problema la tecnologia sta cercando di risolvere. Questa è una strategia semplice ma efficace. Ci sono così tanti nuovi sviluppi, e ognuno di essi cerca di aiutare certe persone. Se applichiamo questa strategia, possiamo concentrarci di più sulle tecnologie rilevanti per il nostro obiettivo.

Un esempio è l’ingegneria delle istruzioni. L’ingegneria delle istruzioni si è dimostrata molto utile. Sono state sviluppate molte tecniche, come l’apprendimento in contesto, la catena di pensieri, l’albero dei pensieri, ecc. Alcune persone hanno previsto l’emergere dell’ingegnere delle istruzioni come un nuovo titolo. È questo il futuro dell’ingegnere di machine learning?

Pensiamo a perché si è sviluppata l’ingegneria delle istruzioni. Poi ci renderemo conto che le persone hanno sviluppato LLM che seguono le istruzioni per permettere agli utenti di interagire con LLM in linguaggio umano. L’ingegneria delle istruzioni riguarda principalmente la strutturazione del testo in modo che possa essere interpretato e compreso meglio dai modelli di IA generativa. Sebbene l’ingegneria delle istruzioni abbia una serie di pattern provati che la rendono orientata al tecnico, è principalmente mirata ad aiutare gli utenti poco esperti. La complessità attuale dell’ingegneria delle istruzioni è dovuta al fatto che non abbiamo imparato come far sì che gli LLM comprendano in modo affidabile l’istruzione. Con ulteriori sviluppi, l’ingegneria delle istruzioni potrebbe diventare così matura che tutti possono ottenere risultati soddisfacenti con una breve formazione. I professionisti di machine learning dovrebbero imparare le competenze dell’ingegneria delle istruzioni, ma sfortunatamente l’ingegneria delle istruzioni non offre una forte sicurezza lavorativa poiché il suo obiettivo principale è abbassare la soglia, non mantenerla. Se consideri l’ingegneria delle istruzioni come la tua capacità principale, la distanza di conoscenza tra te e i tuoi clienti si sta riducendo.

Oltre alla CLI e alla GUI, qualcuno ha proposto l’idea di NLI, o Interfaccia Utente basata sul Linguaggio Naturale. Credo che questa sia una buona idea. Se condividi la stessa idea, sarai d’accordo sul fatto che le istruzioni devono essere accessibili a tutti. Non dovrebbero essere un segreto gelosamente custodito.

Conoscere le Limitazioni

L’IA generativa ha ricevuto molti elogi, ma ha le sue limitazioni. Il modello è propenso all’allucinazione, non è bravo nel ragionamento logico e non è facile da gestire. Tutte queste caratteristiche rendono difficile lo sviluppo delle applicazioni LLM e offrono opportunità per fornire servizi professionali e rendere l’IA generativa più utile nel fornire valori aziendali. Per raggiungere questo obiettivo, oltre a conoscere ciò che l’IA generativa può fare bene, è essenziale conoscere le aree in cui l’IA generativa è carente, come valutare le sue prestazioni e come mitigare questi problemi. Costruire questa conoscenza sarà prezioso nel lungo periodo.

Consideriamo l’applicazione RAG come esempio. RAG è un componente essenziale nell’ecosistema dell’IA generativa. È l’opzione preferita quando vogliamo far sì che LLM basi il suo ragionamento sui dati locali ed è l’opzione corretta quando vogliamo gestire contenuti molto più grandi della finestra dell’istruzione. Sono stati sviluppati numerosi sistemi RAG e sono stati creati molti database di vettori per tenere il passo con questa tendenza. Tuttavia, RAG ha anche le sue insidie. Infatti, costruire una demo impressionante di RAG è piuttosto facile, ma trasformarla in un sistema pronto per la produzione può essere piuttosto sfidante. Essere consapevoli di queste limitazioni ci aiuterà a diventare consulenti responsabili.

Per favore, vai ai seguenti post per vedere discussioni rilevanti se vuoi saperne di più sull’applicazione RAG: Svantaggi di RAG [2], considerazioni sull’applicazione di database di vettori [3], come selezionare e ospitare modelli di embedding [4], e come ottimizzare un LLM di embedding [5].

Oltre all’esempio di RAG, sai come è stata valutata la performance del LLM? Sai cos’è un’iniezione di istruzioni e cos’è una perdita di istruzioni? Potresti aver notato nella tua pratica che le istruzioni sono sensibili alla sfumatura, ma sei interessato a misurare la robustezza delle tue istruzioni? Queste sono tutte domande pratiche e sono al centro dell’attenzione di molti ricercatori. Anche se non esistono soluzioni perfette per queste domande, essere consapevoli delle preoccupazioni e delle soluzioni di mitigazione può comunque aiutare molto nella progettazione delle nostre soluzioni. Spero che queste domande ti ispirino a vedere quanto possiamo fare. Tutte queste domande e risoluzioni ci renderanno dei professionisti di IA competenti.

Avere una Visione d’Insieme

Un’altra strategia importante è considerare l’applicazione dell’IA generativa come un sistema completo, non come un singolo modello. Sappiamo che gli LLM hanno molte imperfezioni. Alcune delle imperfezioni sono difetti intrinseci della struttura attuale degli LLM. Solo nuove strutture rivoluzionarie possono risolvere questi problemi. Come ha detto Yann Lecun, “Gli LLM non sono il futuro.” Mentre i ricercatori si impegnano nella ricerca di architetture alternative degli LLM, dobbiamo sapere che molte delle problematiche devono essere affrontate con soluzioni ingegneristiche.

Ecco un interessante articolo dal MIT Technology Review sul fallimento del progetto LLM di Meta l’anno scorso [6]. Meta ha rilasciato un nuovo LLM per generare intuizioni scientifiche. Tuttavia, il modello è sopravvissuto solo per 3 giorni prima di essere rimosso dalla rete. Cosa è successo?

Dopo essere stato addestrato su 48 milioni di articoli scientifici, libri di testo e appunti di lezioni, il modello poteva creare “deep fake scientifici”. Ha prodotto falsi articoli scientifici e li ha erroneamente attribuiti a ricercatori reali. Ha creato articoli di Wikipedia immaginari, come la “storia degli orsi nello spazio”. Immagina se uno scienziato diligente avesse utilizzato un riferimento falso fornito dal LLM.

Questo è senza dubbio un problema molto comune di allucinazione del LLM. Eliminare le allucinazioni del LLM è una battaglia difficile. Anche applicando tutte le soluzioni note, dobbiamo avere un’idea del livello di precisione che possiamo raggiungere. Se il progetto richiede tolleranza zero per risposte errate, un singolo LLM probabilmente non è una buona scelta. A seconda delle esigenze, soluzioni avanzate, come quelle supportate da knowledge graph, funzionano molto meglio. La risposta sarebbe più affidabile e tracciabile, e l’intera soluzione sarebbe più gestibile.

Consulta la seguente classifica per avere un’idea della precisione realistica per un singolo modello [8].

Responsabilità

Tutti concorderebbero sul fatto che il problema più significativo del LLM sono le allucinazioni. Le persone hanno sviluppato enormi strategie per controllare il problema. Oltre alle allucinazioni, ci sono altri problemi che fanno esitare i decisori nell’applicare l’IA generativa ai propri sistemi? Diamo un’occhiata a qualcuno di essi:

Spiegabilità

Ogni volta che facciamo una query, i LLM ci danno sempre una risposta. Ma come i modelli giungono a quella risposta non è chiaro. Come possiamo essere sicuri di come il modello elabora la risposta? Si riferisce a informazioni affidabili o le inventa? Tornando al RAG: come possiamo sapere se la risposta ha incluso tutte le informazioni importanti o è incompleta?

Equità

Tutti i LLM sono addestrati su un grande dataset. Sono progettati per scoprire modelli nei dati. In questo contesto, i LLM sono solo modelli statistici. E tutti i modelli statistici sono inclini verso i modelli più popolari. Un problema comune è che non si comportano bene con i dati meno comuni.

Pensiamo a un modello costruito sui dati demografici dell’Australia, dove l’80% della popolazione vive nelle 8 principali città. Genera un buon rendimento complessivo; tuttavia, trascura gli interessi delle persone delle aree regionali e degli aborigeni. In alcuni casi, questi pregiudizi possono essere un fattore determinante, cosa diventata più importante di recente a causa delle crescenti preoccupazioni sulla sicurezza dell’IA.

Sicurezza

Addestrare un nuovo LLM da zero richiede una grande quantità di dati di addestramento e tonnellate di denaro. Tranne per coloro che lavorano per aziende molto ricche, la maggior parte dei nostri sviluppi di applicazioni LLM deve essere basata su modelli di fondazione pre-addestrati. E ciò comporta due rischi intrinseci:

  1. Come possiamo sapere che i dati di addestramento sono sicuri? È così facile inserire dati maligni per creare una backdoor.
  2. Come possiamo essere sicuri che il modello generato sia sicuro? Anche se i dati di addestramento sono puliti e chiari, il modello generato potrebbe essere sensibile agli attacchi avversari. Forse sai già che un modello di visione artificiale può essere ingannato aggiungendo rumore invisibile all’immagine in input. I LLM sono sensibili agli attacchi.

Se dobbiamo supporre che i dati di addestramento e il modello non sono sicuri, come possiamo individuare, controllare e gestire il rischio per prevenire che causino pericoli?

Privacy e Sicurezza dei Dati

I LLM sono solo modelli di apprendimento automatico. E la loro conoscenza è stata costruita sul grande dataset di addestramento. Non hanno alcun senso di quali tipi di dati dovrebbero essere divulgati senza restrizioni, quali dati dovrebbero essere forniti solo a determinati gruppi di utenti o quali dati non dovrebbero essere divulgati affatto. Allora, come proteggiamo le applicazioni? Come verifichiamo la privacy e la sicurezza dei dati di addestramento e come istruziamo i LLM a dimenticare qualcosa che non vogliamo che ricordino?

L’Ingegneria è il Nostro Campo di Appartenenza

La consapevolezza di tutto quanto sopra ci darà un’idea di cosa dovrebbe essere incluso nella nostra base di conoscenza e nelle nostre proposte di progetto. La nostra ideazione non può andare in diretta senza una solida ingegneria.

Ci sono molti campi vuoti nella produzione di Generative AI. Molti aspetti sono concetti nuovi o devono essere migliorati rispetto alle vecchie pratiche di MLOps. I tradizionali MLOps si concentrano maggiormente nel garantire che le prestazioni del modello siano all’altezza delle aspettative, così come l’efficienza dell’addestramento e dell’ambiente di esecuzione. Le applicazioni LLM hanno bisogno anche di un hosting del modello efficiente, di un’ottimizzazione fine-tuning e di un miglioramento delle prestazioni in fase di esecuzione. Oltre a questo, dobbiamo fornire una soluzione ingegneristica per ciascuna delle preoccupazioni sopra menzionate. Queste sfide uniche rendono le operazioni LLM più difficili da gestire rispetto a quanto possa fare il tradizionale MLOps.

Prendiamo come esempio la gestione del modello LLM: dobbiamo imparare come ospitare un modello su un cluster GPU in modo efficiente, che è una competenza di MLOps. Dobbiamo anche conoscere tutte le competenze di valutazione del modello LLM, ottimizzazione del modello, come preparare in modo efficace i dati di addestramento, come controllare il bias del modello con l’aiuto dell’interazione umana, come controllare il rischio del modello con RLHF, ecc. L’elenco delle attività è molto più lungo e la pila tecnologica è molto più complicata. Dobbiamo essere pratici con tutte queste cose. Questi sono modi in cui possiamo aiutare i nostri clienti.

Gli sviluppatori di software hanno passato decenni alla ricerca del miglior modello di gestione dei progetti. Sono state sviluppate numerose metodologie basate su innumerevoli fallimenti di progetti. Alla fine, le persone hanno capito che la comunicazione era la chiave del successo del progetto. Hanno trovato il modello Agile il metodo più efficiente, e Scrum è diventato lo standard di fatto.

I progetti di machine learning sono molto più complicati da comunicare e molto più difficili da mantenere tutti sulla stessa pagina; tuttavia, non esiste ancora una pratica migliore specifica per i progetti di apprendimento automatico. La mia interpretazione è che ciò indica la fase iniziale delle applicazioni di apprendimento automatico. Ho visto che la comunicazione sta nuovamente rallentando i progetti. Mi aspetto che qualcuno possa proporre nuove modifiche a Scrum per rendere più fluido il progetto di apprendimento automatico.

Come possiamo affrontare questa sfida? Il mio suggerimento è di superare il confine il più possibile. Non limitarti a un certo ambito. Il tuo progetto trarrà vantaggio dalla tua capacità di colmare il divario tra le parti interessate.

Parole di congedo

L’emergente intelligenza artificiale generativa ci porta in un mare blu di sfide e opportunità illimitate. Al momento, tutto sembra confuso e veloce. Ci sono così tante cose da imparare, provare e risolvere ogni giorno. La buona notizia è che, fino alla prossima innovazione rivoluzionaria, le principali sfide dell’Intelligenza Artificiale Generativa sono pratiche. La maggior parte di esse risolve problemi del mondo reale e non richiede competenze matematiche avanzate. Se possiamo pianificare per noi stessi e sviluppare la nostra esperienza in modo pianificato, troveremo più facile stare al passo con gli ultimi sviluppi. Possiamo continuare a diventare consulenti di apprendimento automatico risolutivi e abbiamo l’opportunità di contribuire con le nostre pratiche alla comunità di apprendimento automatico. Non sono sicuro di quanto possa durare questa opportunità, ma è fantastico!

Come puoi capire, si tratta di un lungo viaggio. Se condividi la mia visione, sostienimi iscrivendoti e applaudendo, e potrò condividere i miei progressi con te.

Riferimenti

Scegli il tuo strumento: strategie di sopravvivenza per accademici di intelligenza artificiale depressi

Sei un ricercatore di intelligenza artificiale presso un istituto accademico? Sei ansioso perché non riesci a stare al passo con il ritmo attuale dell’IA…

arxiv.org

Svantaggi di RAG

Recentemente, la crescita dei modelli di linguaggio di grandi dimensioni (LLM) ha suscitato molto interesse nei sistemi RAG. Molti professionisti…

VoAGI.com

Ciò che dobbiamo sapere prima di adottare un database vettoriale

Per continuare il nostro viaggio verso l’Intelligenza Artificiale Generativa applicabile, vorrei discutere alcune delle sfide di…

VoAGI.com

Ospitare un modello di incorporamento del testo migliore, più economico e più veloce della soluzione di OpenAI

Con un po’ di sforzo tecnico possiamo ottenere un modello di incorporamento del testo migliore che sia superiore alla soluzione di OpenAI.

VoAGI.com

Sintonizzazione fine del modello di incorporamento con PEFT e LoRA

Nella nostra precedente discussione, abbiamo esplorato la valutazione dei modelli di embedding e i potenziali vantaggi di ospitare questi…

VoAGI.com

Perché l’ultimo grande modello di linguaggio di Meta è sopravvissuto solo tre giorni online

Galactica doveva aiutare gli scienziati. Invece, ha prodotto senza pensare assurdità tendenziose e errate.

www.technologyreview.com

Daliana Liu su LinkedIn: Abbiamo intervistato oltre 150 data scientist, ingegneri ML, dirigenti e PM in…

Abbiamo intervistato oltre 150 data scientist, ingegneri ML, dirigenti e PM in 29 paesi sul loro utilizzo di LLM. Ecco 3…

www.linkedin.com