Apprendere dal Machine Learning | Vincent Warmerdam Calmcode, Explosion, Data Science

Machine Learning learning | Vincent Warmerdam.

Il secondo incontro di “Learning from Machine Learning” presenta Vincent Warmerdam, ML Engineer di Explosion e creatore di calmcode

Benvenuti di nuovo a “Learning from Machine Learning”, una serie di interviste che approfondisce il mondo affascinante dell’apprendimento automatico. Poiché l’IA rivoluziona il nostro mondo, ogni episodio offre approfondimenti tecnici insieme a consigli professionali e lezioni di vita da professionisti leader nel campo.

In questo episodio, Vincent Warmerdam, creatore di calmcode e koaning.io, ML Engineer presso Explosion e ex Research Advocate presso Rasa, condividerà le sue esperienze e i suoi consigli. Ha ricoperto numerosi ruoli nel mondo della scienza dei dati, tra cui consulente, sostenitore, formatore, responsabile, educatore e reclutatore. Il suo lavoro si è concentrato sulla semplificazione dei processi, sull’utilizzo efficace dei modelli e sulla formazione degli altri.

Il suo sito calmcode fornisce contenuti didattici di alta qualità e facilmente consumabili sulla scienza dei dati ed è diventato una risorsa preziosa per gli scienziati dei dati. Vincent ha aiutato nell’organizzazione di PyData Amsterdam ed è stato costantemente relatore a PyData e NormConf. I suoi interventi sono piacevoli e coinvolgenti (guardateli su YouTube).

Vincent ha creato decine di strumenti per aiutare nello sviluppo dell’apprendimento automatico, nel processamento dei dati, nei test e nell’elaborazione del linguaggio naturale.

• Funzioni di Finestra Un Must-Know per gli Ingegneri e gli Scienziati dei Dati.
• Rendi i tuoi grafici fantastici con UTF-8
• MLOps Tempo come gli obiettivi strategici creano iterazioni più veloci?

koaning – Panoramica

🙂Vincent D.

github.com

La passione di Vincent per la costruzione di strumenti pratici, la condivisione aperta del suo lavoro e l’affrontare i problemi del mondo reale con semplicità e calma ha influenzato il modo in cui faccio il mio lavoro.

Sommario

Vincent ha avuto un percorso di carriera non convenzionale ed è entrato nella scienza dei dati quando era ancora emergente. Attribuisce il suo successo a una combinazione di fortuna, alla popolarità del suo blog, all’organizzazione di incontri e ai suoi contributi open source, che hanno portato offerte di lavoro direttamente da CEO e CTO invece di passare attraverso i processi di reclutamento tradizionali. Il suo background accademico include lo studio dell’ottimizzazione delle operazioni e del design, che gli ha dato una prospettiva unica sugli algoritmi e i vincoli. Ha anche menzionato che il suo lavoro come barista in un Comedy Club ha affinato le sue capacità di presentazione.

Ispirato dalla diagnosi medica errata di un familiare, Vincent è stato attratto dall’apprendimento automatico per utilizzare gli algoritmi per prendere decisioni e previsioni migliori. Durante la sua tesi di laurea magistrale ha avuto l’opportunità di concentrarsi sull’apprendimento automatico.

Il suo lavoro open source è stato guidato dal desiderio di risolvere problemi specifici e a volte di soddisfare i suoi stessi bisogni. Ha iniziato con il suo primo progetto PyPI, evol, e ha sviluppato librerie come scikit-lego, human-learn, whatlies e doubtlab basate sulle sue esigenze e le sue esperienze in diverse aziende.

La libreria bulk è emersa come risultato del suo lavoro su human-learn e whatlies. Sfrutta l’incorporamento, la riduzione della dimensionalità e il clustering per facilitare l’etichettatura e l’esplorazione dei dati su larga scala. Sebbene lo strumento non fornisca etichette perfette, aiuta a abbassare la barriera all’ingresso e a sviluppare l’intuizione quando si lavora su nuovi dataset.

Ha avviato calmcode come risposta alla mancanza di contenuti didattici di qualità nella scienza dei dati, mirando a fornire tutorial concisi e opinati che si concentrino sull’idea di comunicare in modo efficace. Le sue lezioni consistono in una serie di brevi video facilmente digeribili. Si concentra sull’insegnamento di strumenti e approcci per migliorare il lavoro quotidiano della scienza dei dati.

L’esperienza di Vincent nel campo ha fornito una grande prospettiva sullo stato attuale dell’apprendimento automatico. Siamo stati in grado di discutere i limiti dei modelli generativi, il ruolo dei sistemi basati su regole per integrare i modelli di apprendimento automatico, le complessità dell’etichettatura della verità fondamentale.

Il consiglio di Vincent è reale e pungente. Mette in guardia contro l’attribuire troppa importanza ai guadagni monetari all’inizio della propria carriera e di dare la priorità alla scoperta della propria passione e delle motivazioni vere. Lotta con i sentimenti contrastanti dell’utilità del campo dell’apprendimento automatico e della necessità di professionisti qualificati in esso, riconoscendo anche l’abbondanza dell’hype. Più importante ancora, Vincent enfatizza l’importanza di acquisire una chiara comprensione di ciò che si può e non si può influenzare e di concentrare la propria energia sulle aree in cui si può fare la differenza.

Consigli e approfondimenti

1. Comprendere correttamente il problema è la cosa più importante: un algoritmo migliore non sempre garantisce risultati migliori se applicato al problema sbagliato.
2. Riformulare i problemi può essere vantaggioso: pensare in modo olistico all’ottimizzazione del sistema anziché concentrarsi solo sul miglioramento dei singoli componenti.
3. “Spesso le persone dimenticano che l’algoritmo è solitamente solo un ingranaggio del sistema. E siamo interessati a costruire un sistema migliore, non un ingranaggio migliore. Quindi, se stai costruendo un ingranaggio migliore ma non si adatta al resto, non è un ingranaggio migliore perché non ottieni un sistema migliore.”
4. Considerare di avviare un blog in cui condividere ciò che si impara. Scrivere brevi appunti su “oggi ho imparato” può essere un modo facile per costruire una presenza online e dimostrare il proprio apprendimento continuo.
5. Non sentire la pressione di sapere tutto all’inizio. Considerare ruoli correlati come quello di analista, che possono fornire competenze e conoscenze preziose che beneficeranno il percorso di scienza dei dati.
6. “Puoi creare pacchetti Python più spesso di quanto pensi, quindi crea uno”. Più persone dovrebbero creare i propri pacchetti Python, anche per strumenti interni o piccole funzioni ausiliarie. Non abbastanza persone ne approfittano dei vantaggi dell’imballaggio e del riutilizzo del proprio codice.
7. Uscire dalla bolla dell’apprendimento automatico può essere rinfrescante e fornire ispirazione. Interagire con persone che non sono nel campo e comprendere le loro prospettive può aiutare a creare applicazioni migliori e concentrarsi sull’aspetto umano del proprio lavoro.
8. Stare attenti a concentrarsi troppo sul denaro all’inizio della propria carriera. È importante capire ciò che si ama e ciò che ci fa scattare anziché inseguire solo un salario più alto.
9. “Sono un po’ un mix quando si tratta dell’intero discorso sull’apprendimento automatico. Parte della mia opinione è che sia uno strumento super utile e abbiamo bisogno di più persone brave a fare apprendimento automatico. Ma allo stesso tempo, è come un secchio di hype disgustoso che vogliamo davvero avere meno. E il mio giorno per giorno è affrontare entrambi questi sentimenti.”
10. “Chiamare .fit e .predict sono le parti facili. Tutto il resto intorno a questo. È molto più difficile. Specialmente quando si considerano temi di equità, tutte le cose che possono andare storte, possiamo davvero saperlo in anticipo? Non so se sia sempre possibile.”
11. “C’è qualcosa che puoi controllare, qualcosa che non puoi. Assicurati solo di capire ciò che puoi e non puoi controllare e poi vai avanti da lì.”

Tabella dei contenuti

Sommario Introduzione Consigli e suggerimenti Intervista completa — Benvenuto — Background — Sfondo accademico — Attrazione per il machine learning — Calmcode — Open Source — Bulk — Comprendere il problema — Domande senza risposta nel machine learning — Machine learning generativo e predittivo — Influenze — Consigli sulla carriera — Consigli per nuovi data scientist — Imparare dal video intervista sul machine learning Spotify Audio Episodio precedente con Maarten Grootendorst Riferimenti

Intervista completa

(Nota: questa intervista è stata leggermente modificata per chiarezza)

Benvenuto

Seth : Benvenuti a “Imparare dal machine learning”. In questo episodio, ho il piacere di avere Vincent Warmerdam. Attualmente è ingegnere di machine learning presso Explosion, l’azienda dietro SpaCy e Prodigy. Vincent è un educatore, un blogger, un relatore PyData costante.

Ha creato molti strumenti open source preziosi. È stato raccomandato per l’eccezionalità su LinkedIn per oltre cento volte. È veramente una forza ispiratrice nella comunità della scienza dei dati. Benvenuto al podcast.

Vincent : Ciao. Quel commento. Mi fa controllare. Ho cento raccomandazioni? Non lo sapevo.

Seth : Oltre.

Vincent : Oh, ok, cool.

È uno scherzo interno che ho con un ex collega, chi ne prende di più. Ho più di novantanove raccomandazioni per l’eccellenza su LinkedIn ora, bello!

Background

Seth : Perché non ci dai qualche informazione sul tuo percorso di carriera? Come sei arrivato dove sei oggi?

Vincent : È un po’ difficile dare consigli di carriera appropriati perché voglio solo riconoscere che sono un po’ privilegiato e ho avuto molta fortuna perché quando ho iniziato questa cosa della scienza dei dati, era l’era in cui le foreste casuali erano un po’ nuove. E se potevi solo usare una foresta casuale, eri già molto meglio di tutte le tradizioni economiche con i voli lineari. Quindi puoi eseguire il fit e la previsione – bang. Hai un lavoro. Ero un po’ in quell’era al momento giusto.

Dopo questo, ho iniziato a fare blogging. Ho iniziato ad aiutare organizzando alcuni meetups. C’è un meetup di machine learning ad Amsterdam – ho aiutato a organizzare PyData Amsterdam.

E ho anche avuto un blog abbastanza popolare, quindi le persone hanno iniziato a riconoscere me per quello. E, ad un certo punto, quel riconoscimento ti porta in posti, sei invitato a parlare, e poi le persone ti vedono come una figura di autorità. Non lo sono, mi piace pensare di avere idee sensate, ma cerco di essere modesto al riguardo. Ma questa è stata un po’ la storia della mia carriera perché le persone conoscevano il mio blog, che di solito includeva un CTO di un’azienda. E poi un CTO diceva, “Hey, mi piace il tuo blog. Possiamo solo avere una birra?”

E di solito, questo portava all’offerta di lavoro. Non ho ancora parlato con un reclutatore. Onestamente. Non sono mai stato assunto tramite il pipeline di reclutamento fino ad ora nella mia carriera.

È sempre stato tramite il CEO o il CTO perché conoscevano il mio lavoro in precedenza. E questo è molto strano, questa è una storia molto brutta perché è molto difficile da replicare per gli altri perché ho avuto molta fortuna riguardo questo. Penso che avere un blog e poter essere riconosciuto sia molto utile, ma molto difficile da replicare. Ma mi piace anche pensare che alcuni dei progetti collaterali che ho fatto per l’open source abbiano sicuramente aiutato. Calmcode è qualcosa che la gente mi conosce oggi. C’è un detto, pianta mille fiori e uno di essi sarà un loto.

…pianta mille fiori e uno di essi sarà un loto

Sono d’accordo con quell’idea, ma molto dipende anche dalla fortuna e un po’ di privilegio. Voglio solo essere onesto su questo. Essere riconoscibili si è dimostrato utile per me.

Seth: Sì, sicuramente. Voglio dire, il percorso di ognuno è unico. Quali sono i ruoli che hai avuto in diverse aziende?

So che sei stato consulente in un momento, un sostenitore. Hai avuto alcuni titoli interessanti. Giusto?

Vincent: C’era una fase in una precedente azienda in cui ti permettevano di scegliere qualsiasi nome e io e un paio di colleghi pensavamo che fosse divertente vedere fino a che punto potevamo spingerci. Quindi mi sono chiamato maestro Pokemon perché pensavo che fosse divertente. Il mio titolo preferito era “persona anziana” perché a un certo punto, sono solo uno dei vecchi della compagnia. Quindi mi sono chiamato così.

Per quanto riguarda i ruoli, ho fatto molti corsi di formazione, quindi a un certo punto ti chiami formatore. Poiché stai facendo consulenza, hai ruoli diversi all’interno di diverse squadre. Quindi sono stato un capo in un certo momento.

Stavo anche aiutando una società di reclutamento a reclutare persone in aziende per un team di dati specifici. A volte il mio ruolo era super temporaneo. A volte sarebbe stato per due anni. Ma di solito, sono stato una persona in un team di dati che cercava di rendere la squadra produttiva, facendo qualsiasi cosa. Di solito, le cose che mi piace pensare di essere abbastanza bravo sono mantenere le cose molto semplici.

Riesco ad ottenere molto da modelli lineari, che tendono a funzionare molto bene. E prima di questo, ho anche avuto molti lavori diversi al college, e mi piace pensare che questo abbia aiutato anche. La mia formazione è in ricerca operativa, ma prima di questo, ho studiato design. E il mio lavoro serale, ero un barista in un teatro comico nei Paesi Bassi, il che mi fa pensare che abbia potuto aiutare le mie capacità di presentazione in un certo senso. Aver studiato design per un po’ mi fa anche pensare in modo diverso sugli algoritmi.

E come la ricerca operativa mi fa pensare molto alle restrizioni quando faccio cose di scienza dei dati. Mi piace pensare di avere una formazione abbastanza diversa, ed è quella formazione abbastanza diversa che rende facile per me fare le cose che sto facendo ora. Questa è una sintesi.

Formazione accademica

Seth: Ha senso. Quindi, approfondiamo la tua formazione accademica, qual è stata? Quindi, c’è stata un po’ di ricerca operativa e un po’ di design? Sembra abbastanza unico.

Vincent: Sì, ho studiato ingegneria del design industriale per un anno, poi ho scoperto che non era per me. Quindi ho dovuto cambiare facoltà. E poi la laurea triennale è stata in econometria e ricerca operativa, e la magistrale è stata in ricerca operativa. E ho pensato che fosse la più interessante delle due. Ma anche perché aveva un piccolo passaggio alla scienza informatica.

Quindi se volevo fare i corsi di informatica, sarebbe stato abbastanza facile per me prendere i corsi che volevo. Ma, stavo anche remando quando ero al college e facevo un po’ di festa, quindi non mi è stato permesso di iniziare la magistrale subito. Quindi ho avuto questo anno in cui ho seguito qualsiasi corso mi interessasse. Ho fatto un paio di corsi di neuroscienze, che erano abbastanza interessanti, un po’ di psicologia e biologia e così via.

Di nuovo, mi piace pensare che la diversificazione della conoscenza si sia dimostrata piuttosto utile, ma il titolo ufficiale della mia formazione accademica è ricerca operativa. Quindi è la matematica dietro l’ottimizzazione dei sistemi. Questa è la cosa che ti viene insegnata lì.

Seth: Molto interessante. Qual è il problema quintessenziale o canonico nella ricerca operativa che le persone cercano di risolvere?

Vincent: Quindi, un esempio molto classico nell’apprendimento automatico, di solito cerchi di ottimizzare verso qualcosa. Vuoi avere la perdita più bassa possibile o l’accuratezza più alta possibile. E hai degli algoritmi per questo. Di solito prendi i tuoi dati e l’etichetta che vuoi prevedere e crei una sorta di funzione di perdita, cerchi di farla il più piccola possibile. E nella ricerca operativa, fai una cosa molto simile.

È solo che nella ricerca operativa, di solito non stai lavorando con un algoritmo di apprendimento automatico, ma stai affrontando, diciamo, “Ehi, abbiamo azioni in cui vorremmo investire e oh, tra l’altro, questo introduce anche delle restrizioni. Perché sì, vogliamo ottenere il massimo rendimento, ma ovviamente non vogliamo sorpassare il budget, e abbiamo anche una preferenza per il rischio”. E questi sono definiti come vincoli matematici rigorosi. Poi, se vuoi ottimizzare, è un gioco completamente diverso perché se il tuo algoritmo supera i limiti del vincolo, allora sei in una sorta di situazione difficile. Quindi direi che è la cosa principale.

Se stai facendo della ricerca operativa, ti viene insegnato che i vincoli sono molto importanti e che devi affrontarli in modo matematicamente corretto. Ed è un gioco completamente diverso. Ma questo è il principale problema con cui si confrontano, questa ottimizzazione vincolata. Ecco quello che fanno.

Seth : Molto interessante. Sì, sembra che sia necessaria una forte base matematica. C’è anche un po’ di algebra lineare?

Vincent : Molto di calcolo e algebra lineare. Anche se, come dire, dipende un po’ da ciò che fai. Quando fai la laurea magistrale, ovviamente, fai corsi teorici e devi fare le dimostrazioni. Ma il momento in cui inizi a fare la tua tesi [le cose cambiano]. Ho avuto un professore che mi ha detto: “Non so nulla di machine learning Vincent, ma sembri così desideroso. Fai machine learning e insegnami come funziona perché non ho idea”.

E questo è stato fantastico. I professori mi hanno lasciato fare ciò che volevo e sono stato anche in grado di imparare da solo in questo modo. Ma se vuoi davvero fare la ricerca operativa adeguata e soprattutto se vuoi fare un dottorato di ricerca, è molto pesante in matematica. Questo è vero.

Un po’ troppo pesante per la mia comodità, per essere onesti. Sono un po’ più orientato verso l’applicazione delle cose, ma conosco comunque persone che finiscono per fare un dottorato di ricerca e sono sicuramente persone che dimostrano la matematica. Sono il tipo di persone che conoscono bene l’algebra lineare. Questo è sicuramente nel campo.

Attrazione per il Machine Learning

Seth : Cosa ti ha attratto del machine learning? Cosa ti ha interessato inizialmente?

Vincent : C’è sempre qualcosa di interessante nel fare previsioni. Giusto? Quindi c’è qualcosa di interessante che ho pensato. Penso che la storia più lunga, però, ricordo che un membro molto vicino della mia famiglia ha ricevuto una diagnosi medica errata.

La diagnosi sbagliata era che avevano detto alla persona che aveva una malattia molto grave e la persona invece non ce l’aveva. E lo abbiamo scoperto appena in tempo, grazie a Dio. Ma avrebbero potuto prendere alcune decisioni molto strane nella vita, come vendere immediatamente la casa a causa di quella decisione. Così mi ha fatto pensare, ok, c’è una conseguenza definita nel prendere decisioni sbagliate. Qualsiasi cosa possiamo fare per prendere decisioni migliori è interessante.

E forse c’è qualcosa in questo machine learning. L’intera idea che si cerca di imparare di più dai dati usando una macchina, c’è qualcosa di plausibile in questo. Sembra molto interessante. Quindi è stato intorno al momento in cui ho pensato: “Ehi, sì, vediamo se questi algoritmi potrebbero essere in grado di fare qualcosa”.

E poi le prospettive di carriera si sono rivelate incredibili. Quindi questa è un’altra motivazione per entrare in quel campo. Ma la scintilla iniziale è stata una decisione sbagliata. Ecco come ho iniziato a pensare che forse ci sono sistemi che possiamo migliorare qui.

Calmcode

Seth : Molto interessante, e parleremo di machine learning tra poco. Ma avere il creatore e il manutentore di calmcode, che è una risorsa incredibile.

[Vincent ride]

Seth: No, non c’è niente di cui ridere. Calmcode è incredibile.

È nelle prime due o tre cose che consiglio a ogni nuovo data scientist. Il modo in cui scomponi cose davvero complesse in un modo bello, calmo, logico e razionale è estremamente prezioso.

Vincent: Felice di sentirlo.

Seth: Quindi puoi parlare un po’ di calmcode e perché l’hai creato? E bene, cos’è? Dai a tutti una panoramica.

Vincent : Quindi innanzitutto, felice di sentirlo – che ti piace calmcode. Sono felice di sentire che aiuta. Quindi, fondamentalmente, la storia dietro calmcode è che, ad un certo punto, stavo guardando il contenuto educativo intorno alla scienza dei dati. E, come educatore, ho iniziato a notare che c’è così tanto schifo.

Per dare un esempio, il tutorial numero uno, forse quattro o cinque anni fa, su come funziona scikit-learn, cosa è successo con questo dataset chiamato Load Boston, che riguarda i prezzi delle case di Boston. Ci sono così tanti tutorial che usano quel dataset, dai libri O’Reily a molti pacchetti open source. Ma poi guardi i dati e scopri che una delle variabili che usano per prevedere il prezzo delle case è il colore della pelle.

Ho dimenticato il nome esatto, ma era qualcosa come la percentuale di neri nella città. Non vuoi metterlo nel modello predittivo. È davvero, veramente una cattiva idea. Inoltre, perché questo dataset è su scikit-learn? Perché così tante persone lo usano?

Quindi ciò ha portato a molta frustrazione da parte mia. E poi ho anche notato che ci sono questi corsi aziendali che usano Load Boston che addebitano mille dollari al giorno. E guardi, vai un po’ a pensare, questo è un casino. E poi ho pensato che se sono così frustrato, forse posso ottenere energia mettendo queste cose a disposizione gratuitamente.

Sapevo di avere conoscenze sufficienti per poter insegnare questi argomenti perché li ho già insegnati. Ma ho anche notato che gran parte di questo contenuto educativo sembra concentrarsi più sul creatore e meno sull’idea stessa. Quindi ho pensato che sarebbe stato un po’ come un divertente piccolo esperimento. Se dovessi creare una piattaforma di apprendimento, come farei? Ed è così che è stato creato CalmCode.

L’idea è che tu abbia un massimo di cinque video di un minuto per spiegare un singolo argomento e la sequenza di quelli può essere un piccolo corso su pandas o un piccolo corso su qualsiasi cosa.

…per ogni singolo argomento posso dire, è questo uno strumento tranquillo? È qualcosa che rende la tua giornata migliore? E se la risposta è forse no, allora semplicemente non lo insegno.

Ciò che mi piace di fare la cosa di calmcode è che per ogni singolo argomento posso dire, è questo uno strumento tranquillo? È qualcosa che rende la tua giornata migliore? E se la risposta è forse no, allora semplicemente non lo insegno, il che è anche uno dei motivi per cui non insegno Spark, ad essere onesto. Perché installarlo è solo un tale dolore. E a volte ci sono modi più semplici per analizzare i dati anziché ricorrere a uno strumento di big data molto grande.

Quindi è solo un ambiente di apprendimento molto opinabile che le persone sembrano apprezzare molto. Ho ricevuto molte risposte molto gentili. Da quando è arrivato il bambino, faccio molto meno.

Ma è stato molto bello vedere solo questo mio piccolo progetto di hobby senza distrazioni che è molto tranquillo. Sembra che stia attirando tra dieci e ventimila persone al mese. E ottengo molte persone che mi comprano birre alle conferenze fuori dal blu. Questo tipo di cose è abbastanza cool.

Seth: Sì. È una grande risorsa. Sicuramente restituire, creare un luogo in cui i data scientist possono andare per imparare qualsiasi cosa. Ti sei mai trovato a tornare a un vecchio calmcode per rinfrescarti su alcune di queste competenze?

Vincent: Sì. Questo è un altro motivo. Quindi una cosa che calmcode ha dimostrato di essere abbastanza utile per me è che è un po’ come una libreria di frammenti. Perché conoscevo il corso che avevo fatto e sapevo di aver menzionato questo corso e ho bisogno di un file di configurazione, dove si trova?

Oggi stesso, stavo guardando il mio corso di typer perché avevo bisogno di “oh, come funzionano di nuovo le opzioni? Copia e incolla.” Quindi è anche quasi uno strumento di frammenti da me in questo momento. Non l’obiettivo originale, ma è qualcosa che sembra stia succedendo.

E anche, sto costruendo una ricerca per calmcode adesso. È un po’ come un progetto di hobby. Sto contemplando, hey, forse la cosa principale che la funzione di ricerca dovrebbe fare è semplicemente trovare i frammenti giusti, che è un problema di ricerca interessante di per sé.

Ma sì, totalmente, ho bisogno di un promemoria anche io. Ci sono molti corsi. Non li ho tutti in testa, tutto il tempo. Guardo ancora le mie cose in questo senso. Sì.

Seth: Sì. È una buona risorsa per te che puoi consumare e che è diventata anche qualcosa che molte altre persone possono usare. Sto cercando di pensare al mio primo utilizzo. Credo fosse, tipo, args kwargs, che è uno dei primi lì. Sì. Lo ripasso ogni tanto.

Vincent: Bello. Sì. Bello.

Seth: Grazie.

Vincent: Beh, allora mi piacerebbe farne di più.

Ma il semplice fatto della questione è che la mia vita è un po’ diversa ora a causa del bambino. Quindi, ci sono così tante idee che ho che potrei fare con calmcode. Una cosa che mi piace anche del progetto è che non posso dedicare alcuno sforzo ad esso e il sito funzionerà comunque. Giusto. Quindi è anche il design tranquillo di esso.

Mi piace molto avere un progetto di hobby in cui è impossibile rompere nulla. E se qualcosa si rompe, è super facile da riparare perché si tratta solo di un sito web statico. Quindi questo lo rende super facile.

Seth : Se non ci fossero vincoli di tempo o di risorse, cosa faresti per migliorare calmcode?

Vincent : Ci sono un paio di corsi in particolare che mi piacerebbe fare. Uno di essi riguarda solo gli embedding, penso che ci sia un po’ di hype intorno ad essi, ma anche solo il fatto che gli embedding possano fare cose diverse e ci siano ragioni per cui funzionano. Ma non risolvono ogni problema e posso fare un corso divertente in cui si parte dagli embedding delle lettere e si passa ad altri embedding e immagini, e poi si mostra anche come possono fallire. Penso che potrebbe essere super cool.

Anche le cose del Bayesian MCMC [Markov Chain Monte Carlo] sarebbero belle da avere perché si possono creare modelli molto articolati, che è un trucco che non abbastanza persone apprezzano abbastanza.

E poi mi piacerebbe avere una nuova sezione sul sito, che riguarda tutte le demo e i benchmark. E questo perché penso che sia molto difficile sbagliare un benchmark. Tutti i benchmark sono sbagliati, ma alcuni di essi possono essere molto illuminanti. E penso che celebrare un po’ di più questo aspetto sarebbe anche divertente. Ho alcuni esempi pronti, ma non ho tempo per produrli.

Ma cose come, hey, cosa puoi fare per far convergere un po’ più velocemente gli algoritmi numerici. La standardizzazione aiuta davvero o no? E, esplorare questo un po’ potrebbe essere solo super divertente.

Cose del genere sono nella mia mente. C’è sempre qualcosa da fare. E, come, un’altra cosa su cui sto giocando è, come sarebbe divertente collaborare a quel progetto? Forse. Non lo so. Ma ovviamente, non c’è fretta. Quindi va bene anche se non dedico tempo ad esso in questo momento. Va bene anche così.

Open Source

Seth : Sì. Fantastico. Cambiando un po’ argomento, parliamo di alcuni dei tuoi lavori open source. Penso che la prima libreria tua a cui sono stato esposto sia stata bulk. Forse qualcos’altro prima di quella, ma quella era la prima che usavo veramente. E poi hai anche embetter, human-learn, whatlies, doubtlab, cluestar. Quelle sono quelle con cui sono più familiare. So che ce ne sono altre due o tre dozzine.

Vincent : Sì. Una piccola dozzina a questo punto.

Seth : Quando decidi che – questo progetto merita una libreria open source? Quando pensi che sia uno strumento?

Vincent : Aiuta un po’ spiegare come è iniziata la cosa dell’open source. Quindi, il mio primo progetto open source che ho messo su PyPI si chiamava evol, che è fondamentalmente un DSL per la programmazione evolutiva. L’ho fatto con un mio collega. Era un’idea molto carina. E volevo avere la mia piccola libreria.

Quindi cercavo un problema. E poi ho scoperto che, se ho un oggetto di popolazione e un oggetto di evoluzione, questi due possono interagire in modi carini e super facili da fare algoritmi genetici. Va bene. Bella libreria, ho fatto un sacco di presentazioni su quello.

Ma poi, ad un certo punto, ho imparato a fare pacchetti Python. E poi ero un consulente, e ho iniziato a notare che in diversi clienti scrivevo gli stessi componenti di scikit-learn. Quindi ho pensato, devo avere una libreria con questi componenti che continuo a riutilizzare. Ed è così che è nato scikit-lego, ed è così che mi sono familiarizzato con l’ecosistema di scikit-learn.

E poi, ho iniziato a lavorare in Rasa. E lì facciamo molti benchmark sulla classificazione delle frasi perché Rasa costruisce chatbot. E quando si costruiscono chatbot, arriva una frase e dobbiamo capire l’intento. Ok. Quindi ho scritto un paio di strumenti di benchmarking perché era quello che mi serviva e alcuni di questi possono essere open source.

Whatlies ne è un esempio perché volevo avere una libreria in cui molto rapidamente potevo avere molti embedding non in inglese e vedere se erano migliori. E poi è emerso che c’è tutta una comunità non in inglese intorno a Rasa che era super interessata a questo.

Quindi ho potuto costruire alcuni plugin di Rasa per supportare tutti questi strumenti non in inglese. E, poi, ad un certo punto, ho iniziato a mantenere le mie proprie librerie, e ho notato che ho bisogno di alcuni test unitari per i miei documenti perché non voglio che i miei documenti si rompano. Quindi ho fatto alcuni strumenti per aiutarmi a farlo. Mktestdocs – Questo è uno di questi strumenti.

Ho notato che i test su Rasa stavano funzionando molto lentamente, così ho creato pytest duration insights per capire quali test erano i più lenti. E si può vedere come tutte queste cose si accumulano, ma è sempre perché ho una nuova ispirazione. Il mio modo preferito di operare è farlo in pubblico.

E naturalmente, ci sono strumenti che non posso fare in pubblico. Lavoro in un’azienda. Alcuni strumenti sono privati. E va bene. Ma la maggior parte delle volte, ho incontrato un problema e voglio solo essere in grado di risolverlo di nuovo in seguito con un minimo sforzo. E poiché ho già creato dei pacchetti, è solo super facile da ripetere.

E così è successo anche con doubtlab, e anche con embetter, e onestamente anche con bulk. È solo che ad un certo punto ho capito che ne avevo bisogno per il mio lavoro. È bello averlo intorno, quindi lo confezioniamo e andiamo a costruire in pubblico, e questo funziona molto bene per me. Questa è la storia principale.

Seth: Sì. Molto bello. Ed è una grande storia. Sembra che costruendo uno strumento, si acquisiscono determinate competenze, e poi una cosa porta all’altra, e non è poi così difficile.

Una volta che, immagino, hai circa tre dozzine di strumenti incredibili, aggiungere quel trentasettesimo strumento.

Vincent: Sì, ma voglio fare un commento perché penso che in generale, se guardo alle aziende che ho visitato, con il mio background di consulente, penso che non abbastanza persone creino i loro pacchetti Python.

Ad esempio, immagina di avere una query pandas che deve gestire le serie temporali o qualcosa che sta lavorando su questo database molto specifico. Ok. Quindi la funzione che legge i dati dal database probabilmente può essere una funzione che deve essere riutilizzata. E forse devi aggiungere sessioni o forse hai un modello di machine learning molto specifico che vuoi riutilizzare.

E per tutte queste utility, non vuoi che vivano in un notebook. Vuoi che vivano in un pacchetto Python. E ho visto che non abbastanza persone creano i loro strumenti interni, il che penso sia un peccato. Ero con alcuni colleghi esperti all’epoca e scrivevamo i nostri strumenti Python internamente.

…puoi creare pacchetti Python più spesso di quanto pensi. Quindi, costruiscine uno anche se è solo per le tue piccole funzioni di aiuto in pandas che ti piace usare.

E poiché avevamo quella abitudine, è stato anche abbastanza facile per me farne uno pubblico. Quindi, questo è un consiglio che potrei dare a una folla più generale, puoi creare pacchetti Python più spesso di quanto pensi. Quindi, costruiscine uno anche se è solo per le tue piccole funzioni di aiuto in pandas che ti piace usare. Questo è un caso d’uso del tutto legittimo.

Bulk

Seth: Sì. Per approfondire quello che ho usato di più, bulk. Puoi parlare di bulk? Quali sono i requisiti e i meccanismi in gioco?

Vincent: Sì. Potrebbe essere divertente spiegare anche come quella libreria è accidentalmente nata. Quindi avevo una libreria chiamata human-learn. Ci sono un paio di funzionalità davvero cool, ma l’intera cosa con human-learn è che come essere umano, puoi ora fare modelli scikit-learn senza conoscere nulla di machine learning. Una cosa che puoi fare è trasformare una funzione Python in un componente compatibile scikit-learn che è utile. Quindi puoi fare una ricerca a griglia sui kwargs e tutto quanto.

Tuttavia, una cosa che ho pensato fosse abbastanza cool è che di solito si vede un grafico, con alcuni punti blu qui, alcuni punti gialli lì, alcuni rossi lì. E le persone dicono, è per questo che abbiamo bisogno del machine learning e poi un algoritmo li disseziona. Ma poi ho capito che puoi solo disegnare un cerchio intorno ai punti verdi e un cerchio intorno a quelli blu e tradurre quel cerchio in un modello scikit-learn. Quindi questa è una funzionalità di human-learn. In human-learn, abbiamo componenti di bokeh che possono farlo da un notebook.

E mentre lavoravo su quello, stavo anche lavorando su whatlies su Rasa per tutti questi word embeddings. Poi ad un certo punto ho cominciato a capire che quando prendi questi word embeddings e li passi attraverso UMAP, ottieni questi cluster. E poi ho capito, oh, voglio solo selezionarli. Oh, aspetta. Ho questo strumento chiamato human-learn che fa proprio questo.

E in un’ora, avevo tutto funzionante in un quaderno. Poi l’ho mostrato ad un paio di colleghi e tutti hanno detto “Questo è super utile, Vinny. Ben fatto”. Quindi quel quaderno è stato condiviso molto.

E ora, non lavoro più per Rasa, ma ho iniziato a lavorare per questa azienda chiamata Explosion. Abbiamo uno strumento di annotazione. E ho deciso di fare di nuovo il trucco in blocco, ma non volevo farlo in un quaderno. Quindi l’ho trasformato in una piccola applicazione web che puoi eseguire localmente ed è uno dei passaggi di pre-elaborazione che mi piace usare come cosa da fare prima di iniziare ad annotare in Prodigy. Basta prendere i tuoi dati, incorporarli in un grafico 2D usando UMAP e poi di solito vedi i cluster e cerchi di esplorare quell’area, fare una selezione e basta.

È un modo molto bello per fare l’etichettatura in blocco perché i cluster tendono ad apparire da queste incorporazioni. E questo è il trucco. Queste tecniche di etichettatura in blocco funzionano abbastanza bene, ma non sono perfette. Sembrano pragmatiche abbastanza per farmi iniziare in un’ora. Ed è qui che sta il potere. Le cose che mi impiegavano sei ore, ora mi impiegano solo un’ora.

Ed è un trucco che funziona solo per iniziare, ma inizio molto con molti nuovi set di dati. Quindi per me, risolve completamente un problema. Bulk è anche uno di questi progetti in cui mi piacerebbe avere più tempo per risolvere alcuni dei problemi, ma è un piccolo trucco che funziona perfettamente e mi piace usarlo. E sembra che ci sia un piccolo gruppo di persone molto apprezzative di questo strumento, specialmente perché funziona con testo ma anche immagini. Fuori dalla scatola, fa solo questo.

Seth : Molto bello. Sì. Ho usato bulk quando era in un quaderno. So di aver contattato te. Sei stato molto generoso con il tuo tempo cercando di aiutarmi a farlo funzionare in diversi ambienti.

Vincent : Sì, il primo quaderno aveva sicuramente dei bug. Questo è sicuramente vero. Sì, sicuramente ricordo.

Seth : Ma ha comunque funzionato.

Vincent : Sì, beh, il fatto anche quando ero a Rasa, avevo l’abitudine di fare questi video. Quindi, bulk aveva anche un video di YouTube allegato, che è come molte persone hanno scoperto. E penso che ci sia questo repository che ha ancora quel quaderno, che ancora riceve stelle in questi giorni.

Ma raccomando alle persone di usare solo la linea di comando ora perché c’è meno distrazione e un po’ più stabilità.

Seth : Sì. E poi, interessante per me, mentre spostavo gran parte del mio lavoro al di fuori dei quaderni e nei programmi di script. Mi sono imbattuto di nuovo in bulk e ora sto usando di più l’applicazione web. Mi piacciono entrambi. Sono ottimi strumenti e fai un buon punto.

A volte abbassare la barriera per iniziare un problema è così importante perché poi inizi a far rotolare la palla, inizi a pensare a qualcosa e puoi fare progressi significativi. Quello che mi piace è che inizi a costruire un po’ di intuizione, esplorando i dati e inizi a pensare “Ah, ok. Questi potrebbero essere alcune categorie potenziali”.

Vincent : C’è sicuramente un aspetto di apprendimento umano coinvolto che penso sia davvero utile. Soprattutto quando ti scaricano un nuovo set di dati. Sì, puoi iniziare a lanciarlo in un algoritmo e va bene. Ma capire realmente cosa c’è nel set di dati di solito è la cosa che richiede più tempo. Ed è bello che come effetto collaterale di bulk, ti stai esponendo a questi cluster. E questo di per sé sembra abbastanza utile.

Al momento, puoi fare l’etichettatura in blocco su frasi e immagini. Una delle cose su cui sto lavorando è farlo anche per le frasi, per le sottostringhe nei testi. Quindi al momento posso incorporare l’intera frase, ma voglio muovermi verso il fatto che sia in grado di prendere ogni frase nominale in quella frase e farne un piccolo punto. Perché in questo modo, se sei interessato a fare il riconoscimento delle entità nominate o qualcosa del genere, possiamo anche fare l’etichettatura in blocco per te.

E, soprattutto, cose come i videogiochi che potrebbero essere abbreviazioni – Star Wars sono due token – sarebbe bello se potessimo trasformarlo in una singola frase. E nella nostra azienda Explosion, abbiamo molti trucchi che risolvono completamente tutto questo. È solo che ho bisogno di un pomeriggio per farlo funzionare dentro a bulk.

Ma è roba che è sulla roadmap e sono sicuramente interessato a risolvere alcuni di questi problemi.

Comprensione del problema

Seth : Sì. Quindi ho notato attraversando alcuni dei tuoi lavori. Molto si concentra sulla creazione di dataset di alta qualità. Ma qualcosa prima di questo è la comprensione del problema. E ho guardato uno dei tuoi talk PyData che parla essenzialmente di ridefinire il problema.

E hai dato un incredibile esempio su un problema in cui qualcuno sta cercando fagioli, manzo e pane.

Vincent : Oh, sì.

Seth : Puoi parlare di quello?

Vincent : Quindi questo non era il mio racconto. In realtà ho incontrato la persona che lavora presso il Programma alimentare mondiale, che si occupa di ricerca operativa. E uno dei problemi che avevano era la fame nel mondo. E a volte un villaggio con la fame dice, abbiamo bisogno di più fagioli o abbiamo bisogno di più pollo o c’è domanda per determinati prodotti. E poi parte di ciò che l’Organizzazione mondiale per l’alimentazione cerca di fare è trovare questi alimenti a basso costo.

E poi parte del quadro dei costi qui è la logistica. Quindi, possiamo mettere il cibo sul camion? E quanto costa ottenere il camion? E tutta la logistica. E come diceva questa persona, avevano definito il problema nel modo sbagliato inizialmente perché quando una persona dice, ho bisogno di fagioli, sì, possono dire quello, ma non sono i fagioli di cui hanno bisogno, sono i nutrienti. E i fagioli, sono ricchi di fibre e proteine.

Ok. Ci sono altri alimenti come le lenticchie che sono anche ricchi di fibre e proteine. E se stiamo combattendo la fame, non saremo molto schizzinosi sul fatto che abbiamo bisogno di fagioli o lenticchie. E forse se facciamo così, possiamo ottenere il cibo senza avere bisogno di un cantiere navale. Possiamo solo inviare il camion.

E solo riformulando quel problema, credo che abbiano ottenuto una riduzione del costo del cinque percento, che è un numero folle per un’operazione, per un problema su cui le persone hanno già passato anni cercando di ottimizzare. Ottenere una riduzione del costo del cinque percento è quasi impensabile, ma è stato essenzialmente perché stavano risolvendo il problema sbagliato. E la mia teoria è almeno che, come, questa è un’aneddoto di una cosa che è successa a questa persona per il Programma alimentare mondiale. Piuttosto tipicamente, tutta questa azione di riphrasing è un esercizio molto utile e forse non abbastanza di noi lo facciamo.

Un esempio in NLP, uno dei problemi che vediamo a volte sul nostro forum di supporto è, diciamo, hanno un curriculum che vogliono analizzare. E poi dicono, beh, voglio avere la data di inizio e la data di fine per ogni lavoro. Quindi voglio avere un algoritmo che possa individuare la data di inizio. E, sai, puoi costruire un algoritmo che può individuare la data di inizio, va bene. Ma se riformuli il problema in modo da trovare prima tutte le date e poi dopo capire quale sia la data di inizio e la data di fine, allora il secondo problema diventa, beh, la data di inizio è probabilmente la prima e la data di fine è probabilmente dopo quella. Oh, tutto il problema diventa molto più semplice se riformuli il problema in un approccio a due fasi invece di considerarlo di fine in fine.

E ci sono molte di queste opportunità che la gente dimentica. E io, di nuovo, per tornare a calmcode, temo che in parte alcuni dei libri di apprendimento automatico siano colpevoli perché pochi libri di apprendimento automatico ti dicono che puoi scegliere di ignorare metà dei dati se ha più senso. Puoi scegliere di risolvere un problema diverso se è più facile da risolvere. Ma questo non è il modo di pensare che sembro vedere, soprattutto con i nuovi laureati. Che è un po’ una vergogna.

Ma con quella storia del Programma alimentare mondiale, devo fidarmi della persona sul palco che me l’ha raccontata, ma è sicuramente successo. Come il Programma alimentare mondiale ha trovato un modo per ridurre il costo del trasporto del cinque percento solo riformulando un problema matematico. E sicuramente qualcosa che accade nella vita reale.

“Non è stato l’algoritmo a salvare la giornata, ma la comprensione del mondo. Un algoritmo migliore produrrebbe un risultato peggiore se fosse utilizzato per il problema sbagliato.”

Seth : Giusto, sì. E fare qualcosa a quella scala, qualsiasi tipo di riduzione, una riduzione del cinque percento è enorme. La mia citazione preferita di quella presentazione che hai detto è: “Non è stato l’algoritmo a salvare la giornata, ma la comprensione del mondo. Un algoritmo migliore produrrebbe un risultato peggiore se fosse utilizzato per il problema sbagliato.” Mi è piaciuta molto quella.

Vincent : Oh, felice di sentirlo. Quindi, ci sono altre aneddoti in quella storia. Ma se le persone sono interessate a questo, c’è un ricercatore operativo, [Russell] Akhoff.

E ha scritto un articolo intitolato Il Futuro della Ricerca Operativa è Passato, che ha scritto negli anni ’80. Sostanzialmente, spiega perché gli algoritmi della ricerca operativa possono fallire. E le ragioni sono legate a questa aneddoto. La ragione per cui voglio portare questo esempio è perché alcuni di questi argomenti funzionano anche per la scienza dei dati. È un articolo degli anni ’80, ma tutti dovrebbero leggerlo: Il Futuro della Ricerca Operativa è Passato.

E ho scritto un articolo simile chiamato Il Futuro della Scienza dei Dati è Passato solo ripetendo un paio di quegli argomenti. Ma spesso le persone dimenticano che l’algoritmo è solo una parte del sistema, siamo interessati a costruire un sistema migliore, non una parte migliore. Quindi, se stai costruendo una parte migliore che non si adatta al resto, non è una parte migliore perché non ottieni un sistema migliore.

Ma spesso le persone dimenticano che l’algoritmo è solo una parte del sistema, siamo interessati a costruire un sistema migliore, non una parte migliore. Quindi, se stai costruendo una parte migliore che non si adatta al resto, non è una parte migliore perché non ottieni un sistema migliore.

Un’altra cosa che Akhoff fa molto bene nei suoi libri, spiega fondamentalmente molte di queste teorie sui sistemi. E una citazione che posso raccomandare alle persone di pensare di più è che invece di fare, diciamo, una parte migliore. Invece di pensare “Ehi, forse c’è una parte del sistema che possiamo ottimizzare”. Forse invece prova a vedere se puoi migliorare la comunicazione tra due parti. Perché se ci pensi da una prospettiva di sistema, facendo questo, stai ottimizzando due cose.

E inoltre, stai ottenendo chiarezza, quindi è sempre buono. Ed è sicuramente questo tipo di pensare a un problema riducendolo a un singolo numero e non considerando nient’altro. Questo di solito è un labirinto dove le persone si perdono anche nella scienza dei dati, penso.

Seth : Sì. È molto interessante perché penso che ci siano molti casi in cui le persone affrontano i problemi e talvolta si concentrano sui moduli diversi e hanno questo modo modulare di pensare alle cose e dicono, oh, se rendo questa cosa la migliore che può essere, allora l’intero sistema sarà migliore. E in alcuni casi, farà un grande miglioramento. Ma altre volte, è molto importante capire il sistema di supporto e come si integra. Mi ricorda che devi avere buoni test di integrazione e devi assicurarti che tutto si adatti correttamente al sistema.

Vincent : Per dare un aneddoto qui, l’ex CEO di bol.com ha scritto questo nella sua autobiografia. Quindi, bol.com è come l’Amazon olandese. Amazon non è così grande qui. Bol.com è fondamentalmente Amazon, ma blu e olandese – è una cosa che abbiamo qui.

Ma hanno assunto il loro primo scienziato dei dati a un certo punto. E questo libro ha un capitolo su quello – cosa è successo quando abbiamo avuto il nostro primo scienziato dei dati? E nel libro, il primo scienziato dei dati è ritratto come una sorta di persona arrogante. Che si lamenta sempre che tutti questi esseri umani non sono così buoni come il mio algoritmo.

E poi una delle cose che fa è capire che c’è un momento ottimale per tweettare sui nuovi videogiochi che escono sui loro canali social e così via. Quindi, è una cosa che ha fatto. In Olanda, abbiamo questa cosa chiamata Giornata della Memoria. E credo che sia alle sette, potrebbe essere alle otto, ma durante la Giornata della Memoria, ricordiamo la Seconda Guerra Mondiale. E fondamentalmente, l’intero paese rimane in silenzio per due minuti.

Potresti aver visto alcune foto in cui le persone sulle loro biciclette che consegnano le pizze si fermerebbero, stare immobili per due minuti. È una cosa che le persone prendono molto seriamente. Quindi alle sette durante la Giornata della Memoria sarebbe un momento molto sbagliato per tweettare sul nuovo gioco di spari di Call of Duty in cui puoi sparare a un sacco di persone. E sarebbe particolarmente brutto se tweettassi che sei super eccitato all’idea di sparare alle persone durante la Giornata della Memoria. Ma è esattamente ciò che è successo perché il suo algoritmo ha determinato che le sette erano l’ora ottimale per iniziare a tweettare su questo tipo di cose.

E ci sono così tante di queste storie. Giusto? E, da soli, sulla carta, non posso necessariamente biasimare lo scienziato dei dati per fare il suo lavoro. Ma questo è il problema dei sistemi. Il gruppo uno ha preoccupazioni che qualcosa potrebbe andare storto, il gruppo due no.