Cosa significa GPT-3 per il futuro di MLOps? Con David Hershey

Significato di GPT-3 per il futuro di MLOps con David Hershey.

Questo articolo era originariamente un episodio di MLOps Live, una sessione interattiva di domande e risposte in cui i professionisti di ML rispondono alle domande degli altri professionisti di ML.

Ogni episodio è focalizzato su un argomento specifico di ML e durante questo abbiamo parlato con David Hershey di GPT-3 e delle caratteristiche di MLOps.

Puoi guardarlo su YouTube:

O ascoltarlo come podcast su:

Spotify
Apple Podcasts

Ma se preferisci una versione scritta, eccola qui!

In questo episodio imparerai:

1
Cosa riguarda GPT-3?
2
Qual è l’impatto di GPT-3 nel campo di MLOps e come sta cambiando ML?
3
Come possono i modelli di linguaggio integrare MLOps?
4
Quali sono le preoccupazioni associate alla costruzione di questo tipo di sistema MLOps?
5
Come le startup e le aziende stanno già sfruttando LLM per spedire velocemente i prodotti?

Stephen: In questa chiamata abbiamo David Hershey, uno dei favoriti della comunità, oserei dire, e parleremo di cosa significa OpenAI GPT-3 per il mondo di MLOps. David è attualmente il Vice Presidente di Unusual Ventures, dove stanno alzando l’asticella di ciò che i fondatori dovrebbero aspettarsi dai loro investitori di venture. Prima di Unusual Ventures, è stato Senior Solutions Architect presso Tecton. Prima di Tecton, ha lavorato come Solutions Engineer presso Determined AI e come Product Manager per la piattaforma ML presso Ford Motor Company.

David: Grazie. Sono entusiasta di essere qui e di chattare.

Stephen: Sono solo curioso, dando un po’ di contesto, qual è realmente il tuo ruolo in Unusual Ventures?

David: Unusual è un fondo di venture, e il mio attuale focus è sui nostri investimenti in Machine Learning e Data Infrastructure. Sono responsabile di tutto il lavoro che facciamo pensando al futuro dell’infrastruttura di machine learning e dell’infrastruttura dei dati e un po’ più in generale agli strumenti di sviluppo. Ma è una continuazione di quello che ho fatto negli ultimi cinque o sei anni, dedicato a pensare all’infrastruttura di ML e lo sto ancora facendo, ma questa volta cercando di capire la prossima ondata.

Stephen: Sì, è fantastico. Hai scritto alcuni post sul blog sulla prossima ondata di infrastruttura di ML. Potresti approfondire di più su ciò che stai vedendo?

David: Sì, è stato un lungo viaggio di MLOps, suppongo, per molti di noi, e ci sono stati alti e bassi per me. Abbiamo realizzato un numero incredibile di cose. Quando ho iniziato, non c’erano molti strumenti, e ora ce ne sono così tanti e così tante possibilità, e penso che alcune cose siano buone e altre siano cattive.

L’argomento di questa conversazione, ovviamente, è approfondire un po’ GPT-3 e i modelli di linguaggio; ora c’è tutta questa eccitazione attorno all’AI generativa.

Credo che ci sia questa incredibile opportunità di ampliare il numero di applicazioni di ML che possiamo costruire e il gruppo di persone che possono costruire applicazioni di machine learning grazie ai recenti progressi nei modelli di linguaggio come ChatGPT e GPT-3 e cose del genere.

Per quanto riguarda MLOps, ci sono nuovi strumenti su cui possiamo riflettere, nuove persone che possono partecipare e vecchi strumenti che potrebbero avere nuove capacità su cui possiamo riflettere. Quindi ci sono un sacco di opportunità.

Cosa è GPT-3?

Stephen: Sì, assolutamente, approfondiremo sicuramente questo argomento. Parlando dello spazio dell’AI generativa, il focus principale di questo episodio sarà su GPT-3, ma potresti condividere un po’ di più su cosa significa GPT-3 e dare un po’ di contesto?

David: Certamente. GPT-3 è legato a ChatGPT, che è la cosa di cui penso tutto il mondo ha sentito parlare adesso.

In generale, è un grande modello di linguaggio, non del tutto diverso dai modelli di apprendimento automatico del linguaggio che abbiamo visto in passato che svolgono varie attività di elaborazione del linguaggio naturale.

È costruito sulla base dell’architettura transformer rilasciata da Google nel 2017, ma GPT-3 e ChatGPT sono sorta di incarnazioni proprietarie di quella da parte di OpenAI.

Sono chiamati modelli di linguaggio grandi perché negli ultimi sei anni circa, quello che abbiamo fatto principalmente è fornire più dati e rendere i modelli più grandi. Mentre abbiamo fatto ciò sia tramite GPT-3 che tramite altre persone che hanno addestrato modelli di linguaggio, abbiamo visto emergere insiemi sorprendenti di capacità con i modelli di linguaggio oltre alle classiche cose che abbiamo associato all’elaborazione del linguaggio, come l’analisi del sentiment,

Questi modelli di linguaggio possono fare ragionamenti più complessi e risolvere un sacco di compiti linguistici in modo efficiente; una delle incarnazioni più popolari di essi è ChatGPT, che è essenzialmente un Chatbot in grado di avere conversazioni umane.

L’impatto di GPT-3 su MLOps

Stephen: Fantastico. Grazie per aver condiviso ciò… Cosa ne pensi dell’impatto di GPT-3 sul campo di MLOps? E come vedi il cambiamento del Machine Learning?

David: Penso che ci siano un paio di aspetti davvero interessanti da separare per capire cosa significano i modelli di linguaggio per il mondo di MLOps – forse voglio separarlo in due cose.

1. Modelli di linguaggio

I modelli di linguaggio, come ho detto, hanno un numero sorprendente di capacità. Possono risolvere un sorprendente numero di compiti senza alcun lavoro aggiuntivo; questo significa che non devi addestrare o sintonizzare nulla – è sufficiente scrivere un buon prompt,

È possibile risolvere diversi problemi utilizzando modelli di linguaggio.

La cosa bella di poter utilizzare un modello addestrato da qualcun altro è che si trasferisce l’onere di MLOps alle persone che costruiscono il modello e si può ancora fare un sacco di lavoro interessante a valle.

Non è necessario preoccuparsi tanto dell’infereza o della versione e dei dati.

Tutti questi problemi improvvisamente cadono, consentendo di concentrarsi su altre cose, il che secondo me amplia l’accessibilità del machine learning in molti casi.

Ma non tutti i casi d’uso saranno risolti immediatamente; I modelli di linguaggio sono buoni, ma non sono ancora tutto.

Una categoria da considerare è se non abbiamo più bisogno di addestrare modelli per alcune cose,

In quali attività stiamo partecipando?
Cosa stiamo facendo e di quali strumenti abbiamo bisogno?
Quali talenti e competenze sono necessari per poter costruire sistemi di machine learning su modelli di linguaggio?

2. Come i modelli di linguaggio completano MLOps

Stiamo ancora addestrando modelli; ci sono ancora molti casi in cui lo facciamo, e penso che valga la pena almeno commentare l’impatto dei modelli di linguaggio oggi.

Una delle cose più difficili di MLOps oggi è che molti data scientist non sono ingegneri software di formazione, ma potrebbe essere possibile abbassare il livello dell’ingegneria del software.

Ad esempio, c’è stato molto hype intorno alla traduzione del linguaggio naturale in cose come SQL in modo da renderlo un po’ più facile fare scoperta dei dati e cose del genere. E quindi quelle sono più spettacoli collaterali delle conversazioni o altri pezzi complementari, forse.

Ma penso che sia ancora significativo quando si pensa se ci sia un modo in cui i modelli di linguaggio possano essere utilizzati per abbassare il livello di chi può effettivamente partecipare a MLOps tradizionali rendendo gli aspetti del software più accessibili, gli aspetti dei dati più accessibili, eccetera.

L’accessibilità dei modelli di linguaggio grandi

Stephen: Quando parli di GPT-3 e Large Language Models (LLMS), alcune persone pensano che questi siano strumenti per grandi aziende come Microsoft, OpenAI, Google, ecc.

Come vedi la tendenza verso rendere questi sistemi più accessibili per organizzazioni più piccole, startup in fase iniziale o team più piccoli? Voglio sfruttare queste cose e metterle a disposizione dei consumatori.

David: Sì, penso che questo sia forse la cosa più eccitante che è emersa dai modelli di linguaggio e la posso spiegare in un paio di modi.

Qualcun altro ha risolto MLOps per i Large Language Models.

In certo senso, li stanno servendo, li stanno versionando, li stanno iterando, stanno facendo tutti i perfezionamenti. E ciò significa che per molte aziende con cui lavoro e con cui parlo, il Machine Learning in questa forma è molto più accessibile di quanto non sia mai stato: non hanno bisogno di assumere una persona per imparare come fare machine learning e imparare PyTorch e capire tutto il MLOps per essere in grado di ottenere qualcosa.

La cosa sorprendente dei modelli linguistici è che puoi ottenere il tuo MVP semplicemente scrivendo un buon prompt su OpenAI playground o qualcosa del genere.

Molti di essi sono ancora solo delle demo, non sono ancora dei prodotti. Ma penso che il messaggio sia lo stesso: è improvvisamente così facile passare da un’idea a qualcosa che sembra funzionare davvero.

A livello molto superficiale, la cosa ovvia è che chiunque può provare e potenzialmente costruire qualcosa di abbastanza interessante; non è così difficile, ma è fantastico – non difficile è fantastico.

Abbiamo fatto molto lavoro duro per creare modelli di ML semplici per un po’ di tempo, ed è davvero interessante.

L’altra cosa su cui mi soffermerò è questa: quando penso al mio tempo in Ford, un tema principale di cui abbiamo discusso era la democratizzazione dei dati.

Come possiamo fare in modo che tutta l’azienda possa interagire con i dati?

La democratizzazione è stata per lo più solo chiacchiere, e i modelli linguistici, in certo senso, hanno democratizzato un po’ i dati per tutto il mondo.

Per spiegare meglio, quando si pensa a cosa sono quei modelli, il modo in cui GPT-3 o gli altri modelli linguistici simili vengono addestrati è su questo corpus di dati chiamato Common Crawl, che è essenzialmente tutto Internet, giusto? Quindi scaricano tutto il testo su Internet e addestrano i modelli linguistici per prevedere tutto quel testo.

Una delle cose che era necessario fare per il machine learning che tutti conosciamo è la raccolta dei dati.

Quando ero in Ford, dovevamo collegare le cose alla macchina e inviarle tramite telemetria e scaricare tutti quei dati da qualche parte e creare un lago dati e assumere un team di persone per ordinare quei dati e renderli utilizzabili; il problema principale per fare qualsiasi ML era cambiare le auto e costruire i laghi dati e cose del genere.

Una delle cose più entusiasmanti dei modelli linguistici è che non hai bisogno di collegare molte cose. Devi solo dire, per favore completa il mio testo, e lo farà.

Penso che uno dei problemi che molte startup avevano in passato fosse questo problema di partenza a freddo. Tipo, se non hai dati, come fai a costruire ML? E ora, il primo giorno, puoi farlo, chiunque può farlo.

È davvero fantastico.

Cosa preoccupa le startup se MLOps viene risolto?

Stephen: Ed è abbastanza interessante perché se non ti preoccupi di queste cose, allora di cosa ti preoccupi come startup?

David: Beh, darò il buono e poi il cattivo…

Il caso positivo è preoccuparsi di ciò che pensano le persone, giusto? Sei centrato sul cliente.

Invece di preoccuparti di come troverai un’altra persona MLOps o un data engineer, che è difficile da trovare perché non ce ne sono abbastanza, puoi preoccuparti di costruire qualcosa che i clienti vogliono, ascoltare i clienti, sviluppare funzionalità interessanti e sperabilmente, puoi iterare più velocemente anche.

L’altro lato di cui tutti i VC nel mondo amano parlare è la difendibilità – e non voglio, non abbiamo bisogno di entrarci.

Ma quando è così facile costruire qualcosa con LLMs, allora è sorta di posta in gioco – smette di essere questa cosa differenziata e cool che ti distingue dalla tua concorrenza.

Se costruisci un incredibile modello per il punteggio del credito che ti renderà un migliore fornitore di assicurazioni, o che ti renderà un migliore fornitore di prestiti, ecc.

La completamento del testo è un po’ il minimo indispensabile al momento. Molte persone sono preoccupate su come costruire qualcosa che i miei concorrenti non possano copiare domani – ma hey, non è un brutto problema da avere.

Tornando a quanto ho detto prima, puoi concentrarti su ciò che le persone vogliono e su come interagiscono con essa e magari incorniciarla leggermente in modo diverso.

Ad esempio, c’è tutto questo strumentario MLOps, e la cosa che è un po’ all’estremità è il monitoraggio, giusto? Quando ci pensiamo, è come se inviassi un modello e l’ultima cosa che fai è monitorarlo in modo da poterlo aggiornare continuamente e cose del genere.

Ma il monitoraggio per molti team MLOps con cui lavoro è ancora un pensiero successivo perché stanno ancora lavorando per arrivare al punto in cui hanno qualcosa da monitorare. Ma il monitoraggio è in realtà la parte interessante; è dove le persone stanno usando il tuo sistema e stai cercando di capire come iterare e modificarlo per migliorarlo.

Quasi tutti quelli che conosco che stanno facendo cose con i modelli di linguaggio stanno già monitorando perché inviano qualcosa in cinque giorni; stanno lavorando all’iterazione con i clienti invece di cercare di capirlo e grattarsi la testa.

Possiamo concentrarci di più sull’iterazione di questi sistemi tenendo conto degli utenti anziché sulle cose difficili di PyTorch e tutto il resto.

La prospettiva centrata sui dati nell’apprendimento automatico è cambiata dopo l’arrivo dei grandi modelli di linguaggio?

Stephen: Prima dei LLM, c’era una frenesia intorno agli approcci di intelligenza artificiale centrati sui dati per la costruzione dei sistemi. In che modo questo tipo di approccio alla costruzione dei sistemi di apprendimento automatico si collega al fatto di avere ora grandi modelli di linguaggio che sono già stati addestrati su una vasta quantità di dati?

David: Sì, suppongo che una cosa che voglio sottolineare sia che –

L’apprendimento automatico che è meno probabile che venga sostituito dai modelli di linguaggio nel breve termine è una delle cose più incentrate sui dati.

Quando ero a Tecton, hanno costruito un feature store e molti dei problemi su cui stavamo lavorando riguardavano cose come il rilevamento delle frodi, i sistemi di raccomandazione e il punteggio del credito. Si scopre che la parte difficile di tutti quei sistemi non è la parte di apprendimento automatico, ma la parte dei dati.

Quasi sempre è necessario conoscere molti piccoli fatti su tutti i tuoi utenti in tutto il mondo, in poco tempo; questi dati vengono poi utilizzati per sintetizzare la risposta.

In questo senso, è una parte difficile di un problema: i dati sono ancora importanti perché è necessario sapere cosa ha appena cliccato qualcuno o quali sono le ultime cinque cose che qualcuno ha comprato? Questi problemi non svaniranno. È ancora necessario conoscere tutte queste informazioni. È necessario concentrarsi sulla comprensione e sul lavoro con i dati – sarei sorpreso se i modelli di linguaggio avessero quasi qualche impatto su questo.

Ci sono molti casi in cui la parte difficile è semplicemente essere in grado di disporre dei dati corretti per prendere decisioni. E in quei casi, essere centrati sui dati, fare domande su quali dati è necessario raccogliere, come trasformarli in caratteristiche e come utilizzarli per fare previsioni, sono le domande giuste da fare.

Nel caso dei modelli di linguaggio, la domanda sui dati è interessante: potresti avere bisogno di un po’ meno concentrazione sui dati per iniziare. Non è necessario curare e pensare a tutto, ma è comunque necessario fare domande su come le persone utilizzano effettivamente questo – così come tutte le domande di monitoraggio di cui abbiamo parlato.

Costruire qualcosa come i Chatbots deve essere fatto come l’analisi di prodotto per essere in grado di tracciare le risposte dei nostri utenti a questa generazione o a qualunque altra cosa stiamo facendo e cose del genere. Quindi i dati sono ancora molto importanti per quelle cose.

Possiamo approfondire, ma sicuramente ha una consistenza diversa rispetto a prima perché i dati non sono più un ostacolo per la costruzione di funzionalità con modelli di linguaggio come spesso era prima. È forse una parte importante da migliorare, ma non è un ostacolo per iniziare come lo era prima.

Come le aziende sfruttano i LLM per spedire prodotti velocemente?

Stephen: Fantastico. E sto cercando di non perdere il filo del discorso per l’altro componente MLOps, ma volevo solo dare un po’ di contesto di nuovo…

Dalla tua esperienza, in che modo le aziende sfruttano questi LLM per spedire velocemente i prodotti? Hai visto casi d’uso che vuoi condividere in base al tempo trascorso con loro, qualcosa di insolito?

David: È praticamente tutto; ti sorprenderesti di quante cose ci sono là fuori.

Forse ci sono un paio di casi d’uso ovvi di modelli di linguaggio là fuori e poi parleremo anche di alcune cose di spedizione rapida…

Assistenti di scrittura

Ci sono strumenti che ti aiutano a scrivere molti di questi; ad esempio, copia per il marketing o blog o qualsiasi altra cosa. Esempi di tali strumenti includono Jasper.AI e Copy.AI – sono quelli che esistono da più tempo. Questa è probabilmente la cosa più facile da implementare con un modello di lingua.

Agenti

Ci sono casi d’uso che ti aiutano ad agire. Queste sono una delle cose più interessanti che stanno accadendo al momento. L’idea è costruire un agente che prenda compiti in linguaggio naturale e li svolga per te. Ad esempio, potrebbe inviare una email, colpire un’API o fare cose nascenti. C’è ancora molto lavoro in corso, ma è interessante.

Ricerca e recupero semantico

Molte persone lavorano sulla ricerca e sul recupero semantico e cose del genere… Ad esempio, se voglio cercare una nota, posso ottenere una comprensione approfondita di come cercare tra grandi quantità di informazioni. I modelli di linguaggio sono bravi a digerire e comprendere le informazioni, quindi la gestione delle conoscenze e la ricerca di informazioni sono casi d’uso interessanti.

Do risposte ampie perché praticamente ogni prodotto industriale ha qualche opportunità di incorporare o migliorare una funzionalità utilizzando modelli di linguaggio. Ci sono così tante cose da fare e non abbastanza tempo durante la giornata per farle tutte.

Stephen: Fantastico. E questi sono casi d’uso legati agli strumenti per sviluppatori; come strumenti per lo sviluppo e così via?

David: Penso che ci siano tutti i tipi di cose là fuori, ma in termini di pensiero sul lato degli strumenti per lo sviluppo, c’è Copilot, che ti aiuta a scrivere codice più velocemente. E ci sono molte altre cose, come ad esempio semplificare la creazione delle richieste di pull. Ho visto strumenti che ti aiutano a scrivere e redigere richieste di pull in modo più efficiente e che automatizzano la creazione di documentazione. Penso che l’intero universo di come sviluppiamo il software, in qualche misura, sia pronto per il cambiamento. Quindi, lungo queste linee esattamente.

Monitorare in modo efficiente i modelli di linguaggio in produzione

Stephen: Di solito, quando parliamo della piattaforma di apprendimento automatico o MLOps, si tratta di stringere insieme diversi componenti. Hai il tuo:

archivio delle caratteristiche
registro dei modelli
dati da un data lake

I dati vengono quindi spostati lungo questo flusso di lavoro, modellati e quindi distribuiti,

Ora c’è un buon collegamento tra i tuoi ambienti di sviluppo e l’ambiente di produzione in cui avviene il monitoraggio.

Ma in questo caso, ora che i modelli di linguaggio hanno quasi eliminato il lato dello sviluppo…

Come hai visto le persone monitorare in modo efficiente questi sistemi in produzione, specialmente sostituendoli con altri modelli e altri sistemi disponibili?

David: Sì, è curioso. Penso che il monitoraggio sia una delle sfide più difficili per i modelli di linguaggio ora perché abbiamo eliminato lo sviluppo, quindi diventa la sfida numero uno.

Con la maggior parte dell’apprendimento automatico che abbiamo fatto in passato, l’output è strutturato (cioè, si tratta di un gatto o no?); monitorare questo era piuttosto facile. Puoi guardare con quale frequenza stai predendo che si tratta di un gatto o meno e valutare come cambia nel tempo.

Con i modelli di linguaggio, l’output è una frase, non un numero. Misurare quanto sia buona una frase è difficile. Devi considerare cose come:

1 Questo numero è superiore a 0,95 o qualcosa del genere?
2 Questa frase è autorevole e piacevole?
3 Siamo amichevoli e non tossici, non siamo parziali?

E tutte queste domande sono molto più difficili da valutare e tracciare e misurare. Quindi, cosa stanno facendo le persone? Penso che la prima risposta per molte persone sia passare a qualcosa come l’analisi del prodotto.

È più vicino a strumenti come Amplitude che ai classici strumenti in cui generi qualcosa e vedi se piace alle persone o meno. Fanno clic? Escono dalla pagina? Restano lì? Accettano questa generazione? Cose del genere. Ma, cavolo, è una vera metrica di corso.

Questo non ti dà quasi i dettagli per capire gli interni di un modello. Ma è quello che le persone stanno facendo.

Non ci sono ancora molte risposte ottime a quella domanda. Come monitorare queste cose? Come tenere traccia di quanto buono sta facendo il mio modello oltre a guardare come gli utenti interagiscono con esso? È una sfida aperta per molte persone.

Conosciamo molti strumenti di monitoraggio per ML… Spero che alcuni dei nostri preferiti possano evolvere per essere in grado di aiutare più direttamente con queste domande. Ma penso anche che ci sia l’opportunità per nuovi strumenti di emergere che ci aiutino a valutare quanto sia buona una frase e a misurarla prima e dopo l’implementazione di un modello; questo ti farà sentire più sicuro nel tempo.

Al momento, il modo più comune che ho sentito dire alle persone per implementare nuove versioni dei modelli è quello di testarle su cinque o sei prompt e poi verificare con gli occhi se l’output sembra buono e quindi implementarlo.

Stephen: Questo è discutibile. Ironico, incredibile e sarcastico.

David: Non penso che durerà per sempre.

Dove le persone guardano felicemente cinque esempi con i loro occhi e premendo il pulsante di implementazione sul lato produttivo. Questo è audace, ma c’è così tanta eccitazione al momento che le persone implementeranno qualsiasi cosa, suppongo, ma non ci vorrà molto tempo perché questa situazione cambi.

Chiudere il ciclo di apprendimento attivo

Stephen: Sì, assolutamente. E un passo in più per questo, perché penso che anche prima della frenesia dei grandi modelli linguistici, quando c’erano solo i transformer di base, penso che la maggior parte delle aziende che si occupano di questi tipi di sistemi trovassero un modo per chiudere il ciclo di apprendimento attivo.

Come puoi trovare un modo per chiudere quel ciclo di apprendimento attivo in cui stai continuamente perfezionando quel sistema o quel modello con il tuo set di dati mentre migliora?

David: Penso che questa sia ancora una sfida attiva per molte persone, non tutti l’hanno risolta.

OpenAI ha un’API di messa a punto, ad esempio. Anche altri, dove puoi raccogliere dati e loro creano un endpoint messo a punto. E così ho parlato con molte persone che alla fine seguono quella strada, sia per migliorare il proprio modello, più comunemente per migliorare le prestazioni di latenza. Ad esempio, se puoi, GPT-3 è davvero grande e costoso, e se puoi messo a punto un modello più economico che sia altrettanto buono, ma molto più veloce e più economico. Ho visto persone seguire quella strada.

Siamo agli inizi dell’uso di questi modelli linguistici e ho la sensazione che nel tempo il componente di apprendimento attivo sarà ancora altrettanto, se non più importante per perfezionare i modelli.

Si sente parlare molto di messa a punto per utente, giusto? Puoi avere un modello per utente che conosce il mio stile, ciò che voglio o qualsiasi altra cosa possa essere? È una buona idea per chiunque stia usando questi modelli al momento di pensare a quel ciclo di apprendimento attivo oggi, anche se è difficile da attuare oggi, non puoi scaricare i pesi di GPT-3 e messo a punto tu stesso.

Anche se potessi, ci sono tutte sorti di sfide nel messo a punto di un modello con 175 miliardi di parametri, ma mi aspetto che i dati che raccogli ora per migliorare continuamente saranno davvero importanti nel lungo periodo.

GPT-3: opportunità o rischio per i professionisti di MLOps?

Stephen: Sì, è molto interessante vedere come il settore si evolve in questo senso. Quindi, a questo punto, passiamo alle domande della comunità.

La prima domanda della comunità: GPT-3 è un’opportunità o un rischio per i professionisti di MLOps?

David: Penso che opportunità e rischi siano due facce della stessa medaglia in qualche modo, suppongo. Mi tirerò indietro e dirò entrambi.

Inizierò con il rischio: penso che sia difficile immaginare che molti dei carichi di lavoro su cui contavamo per addestrare i modelli, dove dovevi seguire l’intero ciclo di MLOps, non saranno più necessari. Come abbiamo detto, i modelli linguistici non possono fare tutto al momento, ma possono fare molto. E non c’è motivo di pensare che non saranno in grado di fare di più nel tempo.

E se abbiamo questi modelli generici che possono risolvere molte cose, perché abbiamo bisogno di MLOps? Se non stiamo addestrando modelli, allora molte attività di MLOps scompaiono. E quindi c’è il rischio che se non presti attenzione a questo fatto, la quantità di lavoro da fare diminuirà.

Ora, la buona notizia è che non ci sono ancora abbastanza professionisti di MLOps, per cominciare. Nemmeno vicini, giusto. E quindi non penso che arriveremo al punto in cui il numero di professionisti di MLOps oggi è troppo elevato rispetto a quanto dobbiamo fare nel mondo. Quindi non mi preoccuperei troppo, suppongo che sia quello che direi.

Ma l’altro lato della medaglia è che ci sono un sacco di cose nuove da imparare, come quali sono le sfide nella creazione di applicazioni basate su modelli di linguaggio? Ce ne sono molte, e ci sono molti nuovi strumenti. E penso che guardando avanti ad alcune delle domande della comunità, ci addentreremo in questo argomento. Ma penso che ci sia una vera opportunità di essere una persona che comprende tutto ciò e magari di spingere un po’ oltre.

Puoi utilizzare un modello di linguaggio, se sei una persona di MLOps ma non un data scientist; se sei un ingegnere che aiuta le persone a costruire e implementare modelli in produzione, forse non hai più bisogno del data scientist. Forse il data scientist dovrebbe preoccuparsi. Forse tu, la persona di MLOps, puoi costruire tutto. Diventi improvvisamente un ingegnere full-stack nel senso che puoi costruire modelli di machine learning basati sui modelli di linguaggio – costruisci l’infrastruttura e il software attorno ad essi.

Penso che sia un’opportunità reale essere un professionista full-stack nella creazione di applicazioni basate su modelli di linguaggio. Sei ben posizionato, comprendi come funzionano i sistemi di machine learning e puoi farlo. Quindi penso che sia un’opportunità.

Cosa dovrebbero imparare i professionisti di MLOps nell’era dei LLMs?

Stephen: Questo è un punto molto valido; abbiamo una domanda nella chat…

In quest’era dei Large Language Models, cosa dovrebbero effettivamente imparare i professionisti di MLOps o a cosa dovrebbero dare priorità quando cercano di acquisire competenze da principianti?

David: Sì, buona domanda…

Non voglio essere troppo radicale. Ci sono molti casi d’uso di machine learning che non verranno influenzati drasticamente da modelli di linguaggio. Facciamo ancora rilevamento delle frodi e cose del genere. Queste sono ancora cose in cui qualcuno andrà a addestrare un modello sui nostri dati proprietari e così via.

Se sei appassionato di MLOps e dello sviluppo e addestramento e del ciclo di vita completo del machine learning, impara lo stesso curriculum di MLOps che avresti imparato in precedenza. Impara le migliori pratiche di ingegneria del software e comprendi come vengono costruiti e messi in produzione i sistemi di machine learning.

Magari lo completerei dicendo che è semplice, ma vai solo al playground di GPT-3 di OpenAI e sperimenta con un modello. Prova a costruire un paio di casi d’uso. Ci sono molte demo disponibili. Costruisci qualcosa. È facile.

Personalmente, sono un VC… ormai sono appena tecnico e ho costruito quattro o cinque delle mie app per giocarci e usarle nel mio tempo libero – è ridicolo quanto sia facile. Non ci crederesti.

Costruisci qualcosa con i modelli di linguaggio, è facile, e imparerai molto. Probabilmente rimarrai stupito di quanto sia semplice.

Ho qualcosa che prende trascrizioni delle mie chiamate e scrive dei riassunti per me. Ho qualcosa che prende un articolo e posso fare domande su quell’articolo, come un paper di ricerca, cose del genere. Sono applicazioni semplici. Ma imparerai qualcosa.

Penso che sia una buona idea essere in qualche modo familiari con ciò che significa costruire e iterare con queste cose adesso ed è anche divertente. Quindi consiglio vivamente a chiunque nel campo di MLOps di provarlo. So che è il tempo libero, ma dovrebbe essere divertente.

Quali sono le migliori opzioni per ospitare un LLM su scala ragionevole?

Stephen: Fantastico. Quindi focalizzati sulla spedizione di cose. Grazie per il suggerimento.

Passiamo subito alla domanda successiva della comunità: quali sono le migliori opzioni per ospitare grandi modelli di linguaggio su una scala ragionevole?

David: Questa è una domanda difficile…

Una delle cose più difficili riguardo ai modelli di linguaggio è che arriviamo a un range di circa 30 miliardi di parametri. GPT-3 ha 175 miliardi di parametri.

Intorno a 30 miliardi di parametri, un modello inizia ad adattarsi alle GPU più grandi che abbiamo oggi…

La GPU più grande attualmente sul mercato in termini di memoria è la A100 con 80 GB di memoria. GPT-3 non ci sta.

Non è possibile eseguire GPT-3 su una singola GPU. E cosa significa? Diventa terribilmente complicato fare l’inferenza di un modello che non ci sta su una singola GPU: devi fare parallelismo del modello ed è un incubo.

Il mio breve consiglio è di non provarci a meno che non sia necessario – ci sono opzioni migliori.

La buona notizia è che molte persone stanno lavorando per trasformare questi modelli in formati che ci stanno su una singola GPU. Ad esempio, [stiamo registrando il 28 febbraio] penso che sia stato ieri o venerdì scorso che è uscito il paper LLaMA di Facebook; hanno modificato un modello di linguaggio che ci sta su una singola GPU e ha capacità simili a GPT-3.

Ci sono altri modelli simili che vanno da 5 miliardi a 30 miliardi di parametri…

L’approccio più promettente che abbiamo è trovare una GPU o un modello che ci stia su una singola GPU e poi utilizzare gli strumenti che abbiamo utilizzato per tutti i deployment di modelli storici per ospitarli. Puoi scegliere il tuo preferito – ce ne sono molti là fuori, le persone di BentoML hanno un ottimo prodotto di hosting.

Molte altre persone devono assicurarsi di avere una GPU davvero grande e potente su cui metterlo. Ma penso che a quel punto non sia molto diverso, purché tu scelga qualcosa che ci stia su almeno una macchina.

Gli LLM per MLOps stanno diventando mainstream?

Stephen: Oh sì, grazie per aver condiviso…

La domanda successiva è se gli LLM per MLOps stanno diventando mainstream; quali sono le nuove sfide che possono affrontare meglio rispetto ai MLOps convenzionali per casi d’uso di NLP?

David: Mannaggia, mi sembra che questa sia una mina vagante che mi farà arrabbiare le persone, non importa cosa dica qui. È una buona domanda però. C’è una versione facile di questa risposta, di cui abbiamo parlato molto per la costruzione di applicazioni di ML o sopra i modelli di linguaggio. Non è più necessario addestrare un modello, non è più necessario ospitare il proprio modello, tutto ciò sparisce. Quindi è facile in un certo senso.

Ci sono un sacco di cose che non sono più necessarie per la costruzione di modelli di linguaggio. Le nuove domande che dovresti farti sono:

1
di cosa ho bisogno?
2
quali sono le nuove domande alle quali devo rispondere?
3
quali sono i nuovi flussi di lavoro di cui stiamo parlando se non addestramento, ospitazione, servizio e testing?

La creazione di un prompt è un nuovo flusso di lavoro per i modelli di linguaggio…. Costruire un buon prompt è come costruire una versione semplice di un buon modello. È ancora sperimentale.

Provi un prompt e funziona o non funziona. Ci giocherelli finché funziona o non funziona – è quasi come ottimizzare gli iperparametri in un certo senso.

Stai sperimentando e sperimentando, provando cose e costruendo cose finché non trovi un prompt che ti piace e poi lo pubblichi o quello che vuoi. E quindi alcune persone si concentrano sulla sperimentazione del prompt. E penso che sia un modo valido di pensarci, come pensare a pesi e bias come sperimentazione per i modelli.

Come si può avere uno strumento simile per la sperimentazione dei prompt?

Tenere traccia delle versioni dei prompt e di ciò che ha funzionato e di tutto questo. Penso che sia una categoria di strumenti a sé stante. E che tu consideri o meno l’Ingegneria dei Prompt come una forma inferiore di machine learning, è sicuramente qualcosa che richiede i suoi strumenti ed è completamente nuovo e sicuramente diverso da tutti i MLOps che abbiamo fatto in precedenza. Penso che ci sia molta opportunità di riflettere su quel flusso di lavoro e migliorarlo.

Abbiamo toccato l’argomento dell’evaluazione e del monitoraggio e alcune delle nuove sfide che sono uniche per la valutazione della qualità dell’output di un modello di linguaggio rispetto ad altri modelli.

Ci sono delle somiglianze tra questo e il monitoraggio dei modelli di ML storici, ma ci sono cose che sono semplicemente diverse in modo unico. Penso che le domande che ci stiamo ponendo siano diverse. Come ho detto, gran parte di ciò è come l’analisi di prodotto. Ti piace o no? Tutti gli obiettivi di ciò che catturi potrebbero permettere di ottimizzare il modello in un modo leggermente diverso rispetto a prima.

Potremmo dire che sappiamo di monitoraggio e MLOps, ma penso che ci siano almeno nuove domande alle quali dobbiamo rispondere su come monitorare i modelli di linguaggio.

Ad esempio, cosa c’è di simile? È sperimentale e probabilistico.

Perché abbiamo MLOps invece di DevOps? Questa è la domanda che potresti chiedere per prima, suppongo. È perché l’IA ha questo strano insieme di probabilità e distribuzioni e cose che agiscono in modo diverso dal software tradizionale, ed è ancora la stessa cosa.

In un certo senso, c’è una grande sovrapposizione per quanto riguarda la similitudine perché molto di ciò che stiamo facendo consiste nel capire come lavorare con il software probabilistico. La differenza è che non abbiamo più bisogno di addestrare modelli; scriviamo istruzioni.

Le sfide di hosting e interazione sono diverse… Giustificano una nuova sigla? Forse. Il fatto che dire LLMOps sia così fastidioso non significa che non dovremmo cercare di farlo in primo luogo.

Indipendentemente dalle sigle, ci sono sicuramente nuove sfide che dobbiamo affrontare e alcune vecchie sfide a cui non dobbiamo dedicare tanto tempo.

Stephen: Volevo solo accennare alla parte sperimentale, so che gli sviluppatori stanno già prendendo appunti… Sta succedendo molto nell’ingegneria delle istruzioni. Sta diventando attivamente un ruolo. Ci sono addirittura ingegneri di istruzioni avanzati, il che è incredibile di per sé.

David: È più facile diventare un ingegnere di istruzioni che magari diventare una persona di IA. Forse. Lo dico solo perché ho una laurea in apprendimento automatico e non una laurea in istruzioni. Ma è sicuramente un insieme di competenze e penso che gestirlo e lavorare con esso sia una buona competenza da avere ed è chiaramente una competenza preziosa. Quindi perché no?

È necessaria qualche forma di orchestrazione per GPT-3?

Stephen: Assolutamente. Bene, controlliamo l’altra domanda:

GPT-3 ha bisogno di coinvolgere qualche forma di orchestrazione o forse di pipelining? Da quanto capiscono, sembra che MLOps sia più un tipo di processo di orchestrazione che altro.

David: Sì, penso che ci siano due modi di pensarci.

Ci sono casi d’uso dei modelli di linguaggio che potresti immaginare che avvengano in batch. Ad esempio, prendi tutte le recensioni della mia app, estrai i feedback degli utenti rilevanti e segnalali a me o qualcosa del genere.

Ci sono comunque tutte le stesse sfide di orchestrazione per ottenere tutti i nuovi dati, tutte le nuove recensioni dall’App Store, farle passare attraverso un modello di linguaggio in parallelo o in sequenza o comunque sia, raccogliere quelle informazioni e poi metterle dove devono andare. Nulla è cambiato lì. Se avevi il tuo modello ospitato in un endpoint internamente prima, ora lo hai ospitato nell’endpoint di Open.AI esternamente. Chi se ne frega? Stessa cosa, nessun cambiamento, e le sfide sono più o meno le stesse.

All’atto dell’infere

È un buon ingegneria del software.

Quali principi di MLOps sono necessari per ottenere il massimo dai LLM?

Stephen: So che MLOps ha i suoi principi. Parli di riproducibilità, che potrebbe essere un problema difficile da risolvere, e parli di collaborazione. Ci sono principi di MLOps che devono essere seguiti per sfruttare correttamente le potenzialità di questi Large Language Models per i team che fanno parte del sistema?

David: Bella domanda. Penso che sia ancora presto per saperlo, ma penso che ci siano alcune domande simili…

Gran parte di ciò che abbiamo imparato da MLOps e DevOps sono solo dei principi su come fare questo. E quindi alla fine, penso che tutto ciò che riguarda sia MLOps che DevOps sia in qualche modo ingegneria del software. È come, possiamo costruire cose che siano mantenibili, affidabili, riproducibili e scalabili?

Per molte delle domande che vogliamo costruire prodotti, essenzialmente, forse specificamente per il modello linguistico Ops, probabilmente vuoi versionare i tuoi prompt. È una cosa simile. Vuoi tenere traccia delle versioni e, man mano che cambiano, vuoi poter tornare indietro. E se hai la stessa versione del prompt e la stessa temperatura zero sul modello, è riproducibile, è la stessa cosa.

Di nuovo, la portata delle sfide è per natura più piccola. Quindi non penso che ci sia molto di nuovo che dobbiamo imparare necessariamente. Ma devo pensarci di più, suppongo perché penso che ci sarà sicuramente un manuale di tutte le cose che dobbiamo seguire per i modelli linguistici in futuro. Ma penso che nessuno lo abbia ancora scritto, quindi forse uno di noi dovrebbe farlo.

Regolamentazioni attorno alle applicazioni di intelligenza artificiale generativa

Stephen: Sì, un’opportunità. Grazie per aver condiviso questo, David.

La prossima domanda dalla comunità: ci sono requisiti normativi e di conformità di cui i piccoli team di DevTool dovrebbero essere consapevoli quando integrano modelli di intelligenza artificiale generativa nei servizi per gli utenti?

David: Sì, bella domanda…

Ci sono diverse cose che penso valga la pena considerare. Preciso che non sono un avvocato, quindi per favore non seguite i miei consigli perché non so tutto.

Alcune sfide che vorrei menzionare:

OpenAI e servizi esterni: molti dei servizi che ospitano i modelli linguistici al momento sono servizi esterni. Stiamo inviando loro dati. A causa dei cambiamenti attivi che stanno apportando a ChatGPT, ora è possibile ottenere codice sorgente proprietario di Amazon perché gli ingegneri di Amazon hanno utilizzato ChatGPT e lo hanno ottimizzato e ora è possibile risalire a esso.

Questo è un buon promemoria che stai inviando i tuoi dati a qualcun altro quando usi un servizio esterno. E ovviamente, a seconda delle implicazioni legali o aziendali, potrebbe significare che non dovresti farlo e potresti voler considerare l’hosting interno, e ci sono tutte una serie di sfide che ne derivano.

Unione Europea: il Regolamento IA dell’UE dovrebbe essere approvato quest’anno e contiene disposizioni piuttosto rigide riguardo all’introduzione di bias nei modelli e alla misurazione dei bias e cose del genere. Quando non si è proprietari di un modello, penso che sia importante essere consapevoli del fatto che questi modelli hanno sicuramente una lunga storia di produzione di contenuti tendenziosi o tossici e potrebbero esserci ripercussioni in merito alla conformità se non si effettuano test e non se ne è consapevoli.

E penso che sia probabilmente una nuova serie di sfide che dovremo affrontare: come assicurarsi che quando si genera il contenuto, non si stia generando contenuti tossici o tendenziosi o si stiano compiendo azioni tendenziose a causa di ciò che viene generato. E quindi siamo abituati a un mondo in cui possediamo i dati utilizzati per addestrare questi modelli, quindi possiamo sperabilmente iterare e cercare di eliminarne le cose tendenziose. Se ciò non è vero, sicuramente ci sono nuove domande che devi porsi su come sia possibile utilizzare questi sistemi in modo conforme all’evoluzione del panorama legislativo.

In generale, la legislazione sull’intelligenza artificiale è ancora piuttosto nuova. Penso che molte persone dovranno capire molte cose, specialmente quando il Regolamento IA dell’UE sarà adottato.

Testare i LLM

Stephen: E hai menzionato qualcosa di molto interessante riguardo alla parte di test del modello… Qualcuno ha risolto questo problema per i LLM?

David: Molte persone stanno cercando; so che le persone stanno provando cose interessanti. Ci sono metriche che le persone hanno sviluppato nel mondo accademico per misurare la tossicità. Ci sono metodi e misure disponibili per valutare l’output del testo. Ci sono stati test simili per il pregiudizio di genere e cose del genere che hanno storicamente avuto un ruolo in questo. Quindi ci sono metodi disponibili.

Ci sono persone che stanno utilizzando modelli per testare modelli. Ad esempio, puoi utilizzare un modello di linguaggio per guardare l’output di un altro modello di linguaggio e semplicemente dire, “questo è odioso o discriminatorio?” o qualcosa del genere – e sono abbastanza bravi in questo.

Credo che in poche parole siamo davvero agli inizi e non penso che ci sia un singolo strumento a cui posso indicare qualcuno per dire, ad esempio, ecco il modo per fare tutta la tua valutazione e test. Ma ci sono mattoni di base nella forma grezza disponibili ora per cercare di lavorare su alcune di queste cose almeno. Ma è difficile in questo momento.

“Penso che sia una delle sfide attive più grandi per le persone da affrontare in questo momento.”

Intelligenza artificiale generativa con risorse limitate

Stephen: Quando parli di un modello che valuta un altro modello, la mia mente va subito alle squadre che utilizzano il monitoraggio su alcune delle ultime piattaforme, che hanno modelli che fanno attivamente la valutazione stessa. Probabilmente è un ottimo settore commerciale da esplorare per questi strumenti.

Salto subito alla domanda successiva e penso che riguardi tutto l’aspetto dell’ottimizzazione…

C’è una ragione per cui li chiamiamo LLM, e hai parlato di un paio di strumenti – l’ultimo dei quali è di Facebook, LLaMA.

Come vedremo sempre più modelli di intelligenza artificiale generativa ottimizzati per lo sviluppo con risorse limitate nel tempo in cui ci sono risorse limitate, ma si desidera ospitarlo sulla piattaforma?

David: Sì, penso che questo sia davvero importante. Penso che sia probabilmente una delle tendenze più importanti che vedremo e le persone stanno lavorando ancora su questo, ma ci sono molte ragioni per preoccuparsi di questo:

Costo: è molto costoso far funzionare migliaia di GPU per fare questo.
Latency: se stai costruendo un prodotto che interagisce con un utente, ogni millisecondo di latenza nel caricamento di una pagina influisce sulla loro esperienza.
Ambienti che non possono avere una GPU: non puoi portare con te un cluster nel tuo telefono o ovunque tu sia per fare tutto.

Credo che ci sia molto sviluppo in corso nella generazione di immagini. Ci sono stati progressi incredibili in pochi mesi nel migliorare le prestazioni. Il mio MacBook può generare immagini abbastanza rapidamente.

Ora, i modelli di linguaggio sono più grandi e ancora più complessi – penso che ci sia ancora molto lavoro da fare. Ma ci sono molte tecniche promettenti che ho visto le persone utilizzare, come utilizzare un modello molto grande per generare dati, per regolare un modello più piccolo per completare un compito.

Ad esempio, se il modello più grande di OpenAI è bravo in un certo compito ma il più piccolo non lo è, puoi far svolgere quel compito al più grande 10.000 volte, per migliorare il più piccolo o un modello più piccolo per migliorare in quel compito.

I componenti ci sono, ma anche in questo caso non penso che abbiamo tutti gli strumenti di cui abbiamo bisogno ancora per risolvere questo problema. È anche uno dei settori in cui sono più entusiasta; come possiamo rendere sempre più facile per le persone sfruttare le capacità di questi modelli davvero grandi e impressionanti e adattarli a un formato che ha senso per le loro limitazioni di costo, latenza o ambientali?

Quali settori trarranno vantaggio dai LLM e come possono integrarli?

Stephen: Sì, sembra che il modo in cui pensiamo all’apprendimento attivo e ad altre tecniche stia effettivamente cambiando nel tempo. Perché se puoi avere un grande modello di linguaggio che regola un modello più piccolo o addestra un modello più piccolo, è una catena di eventi incredibile che si sta svolgendo lì.

Grazie per aver condiviso questo, David.

Salto subito alla prossima domanda della comunità: quali settori pensi che trarrebbero il maggior beneficio dalle capacità di generazione linguistica di GPT-3 e come possono integrarle?

David: Forse per cominciare con l’ovvio e poi affrontiamo ciò che è meno ovvio perché penso che sia facile.

Ogni generazione di contenuti dovrebbe essere integrata da modelli linguistici ora.

Questo è ovvio.

Ad esempio, la scrittura di testi pubblicitari e il marketing sono industrie fondamentalmente diverse rispetto al passato – ed è ovvio il motivo; è molto più economico produrre contenuti di qualità rispetto a quanto non sia mai stato. Puoi costruire contenuti di qualità personalizzati in poco tempo e su scala infinita.

È difficile credere che ogni aspetto di quell’industria non debba essere in qualche modo cambiato e che non debba adottare rapidamente modelli linguistici. E finora abbiamo visto che è in gran parte vero.

Ci sono persone che genereranno le descrizioni dei tuoi prodotti, le foto dei tuoi prodotti, i contenuti di marketing e i testi pubblicitari. E non è un caso che questa sia la svolta più grande e ovvia perché è un’ottima corrispondenza.

Scendendo, penso che la mia risposta peggiori un po’. Probabilmente tutti dovrebbero valutare come utilizzare un modello linguistico, ma i casi d’uso sono probabilmente meno ovvi. Ad esempio, non tutti hanno bisogno di un chatbot, non tutti hanno bisogno di un’autocompletamento del testo o qualcosa del genere.

Ma che sia per rendere più efficienti i tuoi ingegneri del software perché stanno utilizzando Copilot, che sia per avere una migliore ricerca interna della documentazione o che la tua documentazione del prodotto abbia migliori capacità di ricerca perché puoi indicizzarla con modelli linguistici, questo è probabilmente vero per la maggior parte delle persone in qualche forma. E una volta che diventa più complicato e, come ho detto, ci sono opportunità per automatizzare azioni o fare altre automazioni, si inizia ad affrontare un po’ tutto.

Credo che ci siano cose che sono ovviamente completamente trasformate dai modelli linguistici, come ovunque in cui vengono generati contenuti, dovrebbe essere completamente trasformativo in qualche modo. Poi c’è una lunga serie di potenziali cambiamenti che si applicano a quasi ogni settore.

Strumenti per aiutare nella distribuzione di LLM

Stephen: Giusto, grazie per aver condiviso questo. E solo due domande finali prima di concludere la sessione.

Ci sono strumenti che stai notando che stanno causando un vero cambiamento nel panorama attuale e di cui le persone dovrebbero essere consapevoli, specialmente quelli che rendono più facile la distribuzione di questi modelli?

David: Beh, stiamo parlando di LLMOps. Voglio menzionare alcune persone che stanno lavorando in questo settore e che stanno facendo cose interessanti. Lo strumento di decollo più importante per aiutare le persone con le richieste e l’orchestrazione delle richieste e cose del genere è LangChain – è diventato molto popolare.

Hanno una libreria Python e una libreria JavaScript. Ora stanno iterando a un ritmo incredibile. Quella comunità è davvero straordinaria e vivace. Quindi, se stai cercando di iniziare e sperimentare, ti consiglio di dare un’occhiata a quello.

Altri strumenti come Dust e GPT Index sono presenti in uno spazio simile per aiutarti a scrivere e poi costruire, come prototipi di interazione con modelli linguistici.

Ci sono altre cose in giro. Abbiamo parlato molto di valutazione e monitoraggio e penso che ci sia un’azienda chiamata Humanloop, un’azienda chiamata HoneyHive che si trovano entrambe in questo settore, così come quattro o cinque aziende nel gruppo attuale di YC, che forse si arrabbieranno con me per non averle menzionate singolarmente, ma stanno tutte costruendo cose davvero interessanti lì.

Stanno uscendo molte nuove soluzioni per la valutazione e la gestione delle richieste e cose del genere, la gestione dei costi e tutto il resto. Quindi direi di dare un’occhiata a questi strumenti e di familiarizzare con le nuove cose che abbiamo bisogno di aiuto.

Il futuro di MLOps con GPT, GPT-3 e GPT-4

Stephen: Fantastico. Grazie, David. Sicuramente includeremo queste informazioni nelle note dello spettacolo per l’episodio podcast successivo che verrà pubblicato.

Qualche parola finale, David, sul futuro di MLOps con GPT-3 e GPT all’orizzonte, GPT-4 all’orizzonte?

David: Lavoro su MLOps da anni e anni e questo è il momento in cui sono più entusiasta. Perché penso che questa sia l’opportunità che abbiamo per passare da un settore di nicchia, relativamente di nicchia, a influenzare tutti e ogni prodotto. E quindi ci saranno molti cambiamenti e molte differenze.

Ma per la prima volta, mi sento davvero come se ML avesse davvero sperato che MLOps lo rendesse possibile affinché tutti nel mondo potessero utilizzare ML per cambiare i loro prodotti. E questo è il più vicino, mi sembra che siamo dove, abbassando l’accesso vietato, tutti possano farlo. Quindi penso che abbiamo un’enorme opportunità di portare ML alle masse ora, e spero che come comunità, possiamo tutti farlo accadere.

Conclusione

Stephen: Fantastico. Spero anche io perché sono anche entusiasta del panorama in sé. Quindi grazie mille. David, dove possono trovare le persone e connettersi con te online?

David: Sì, sia LinkedIn che Twitter sono ottimi.

@DavidSHershey su Twitter e David Hershey su LinkedIn. Quindi per favore contattatemi, mandatemi un messaggio in qualsiasi momento. Felice di parlare di modelli di linguaggio, MLOps, qualsiasi cosa e flush boat.

Stephen: Fantastico. Quindi qui a MLOps Live, saremo di nuovo qui tra due settimane e, tra due settimane, parleremo con Leanne e discuteremo davvero di come puoi superare le barriere organizzative facendo MLOps. Quindi molte cose su MLOps all’orizzonte, quindi non perdertelo. Quindi grazie mille, David, per aver partecipato alla sessione. Apprezziamo il tuo tempo e apprezziamo anche il tuo lavoro. Quindi è davvero bello avervi entrambi qui.

David: Grazie per avermi ospitato. È stato davvero divertente.

Stephen: Fantastico. Ciao e stai bene.

MLOps,Natural Language Processing