Stanco del tuo ruolo di Ingegnere dei Dati?

Sei stanco del tuo ruolo di Ingegnere dei Dati?

Come ho fatto la transizione a un ingegnere di analytics

Qualche anno fa, ero in un punto in cui mi sentivo insoddisfatto della mia carriera. Avevo lavorato come ingegnere dei dati per tre anni e l’entusiasmo iniziale di iniziare nel mondo della tecnologia era svanito. Stavo iniziando a capire che non ero appassionato del mio lavoro come avevo sperato.

Credo sia importante seguire i propri interessi, ovunque ci si trovi, per scoprire ciò che si desidera veramente fare. Ciò può significare perseguire hobby al di fuori dell’orario di lavoro che portano gioia, o coinvolgersi con diversi team presso l’azienda in cui si lavora già.

Ricordo quanto mi piacesse il marketing e il lato commerciale delle cose durante l’università, quindi ho deciso di esplorare le mie opzioni in quel settore. Ho iniziato a parlare con analisti dei dati che risolvevano problemi aziendali ogni giorno utilizzando i dati. Erano come ingegneri dei dati con molta più esposizione al mondo aziendale!

Chiedendo progetti di analisi dei dati, ho imparato ad usare dbt e ho sviluppato ulteriormente le mie competenze in Python. Sperimentare con nuove tecnologie mi ha aiutato a capire che mi piaceva ancora lavorare con i dati, dovevo solo usare gli strumenti giusti e risolvere i problemi giusti. Alla fine, questo mi ha portato a cercare un ruolo diverso più in linea con questi nuovi interessi e competenze. Casualmente, questo ruolo era quello di un ingegnere di analytics.

• Informazione ed Entropia
• Mappare gli ingorghi Analisi del traffico utilizzando la teoria dei grafi
• Nuovo modello di testo-immagine di Metas – Spiegazione del paper CM3leon

Come capire se dovresti fare la transizione a un ingegnere di analytics

Molte persone hanno paura di fare la transizione da ingegnere dei dati a ingegnere di analytics perché non sanno se è il momento giusto. La verità è che non ci sarà mai un momento “giusto” per fare qualcosa. Tuttavia, se ti senti poco stimolato e insoddisfatto, non puoi mai prendere questa decisione troppo presto.

La transizione da ingegneria dei dati a ingegneria di analytics è probabilmente giusta per te se sei interessato ai dati stessi piuttosto che alla creazione di prodotti che supportano i dati. L’ingegneria di analytics è molto più orientata al cliente perché utilizzi i dati dei tuoi clienti per rispondere a domande chiave aziendali. Ti concentri più sulla crescita dei ricavi e delle informazioni piuttosto che sulla costruzione di cose.

Questo mi porta al mio secondo punto. Se desideri avere una connessione più stretta con l’azienda e prendere decisioni che favoriscano la crescita dell’azienda, l’ingegneria di analytics potrebbe essere la scelta giusta per te. Come ingegnere dei dati, ti vengono assegnati compiti da un project manager. Non hai necessariamente voce in capitolo su ciò che stai risolvendo o su cosa pensi debba essere prioritizzato. Ma con l’ingegneria di analytics, sì.

Come ho scoperto l’ingegneria di analytics

A dire il vero, non avevo idea di cosa fosse l’ingegneria di analytics quando ho capito che volevo cambiare ruolo nel campo dei dati. Pensavo che la mia unica opzione per lavorare più a stretto contatto con l’azienda fosse diventare un analista dei dati. Ed è esattamente ciò che ho cercato di fare.

Ho fatto domanda per molti ruoli di analista dei dati, ma non avevo molta fortuna. Mancavo di molta esperienza aziendale approfondita necessaria per un analista, così come delle competenze per creare dashboard adeguate. Piuttosto che basarmi sul titolo di lavoro, ho iniziato a concentrarmi su ruoli che avevano una combinazione di competenze che già possedevo e quelle che volevo imparare.

Alla fine, ho scoperto il ruolo di un ingegnere di analytics. Questo ruolo richiedeva conoscenze di SQL, Python, AWS, orchestrazione, dbt e data warehousing, tutte competenze che avevo acquisito come ingegnere dei dati. Tuttavia, richiedeva anche esperienza nel lavorare con strumenti moderni di stack dei dati, comunicare con i team aziendali e alcune conoscenze di base di BI reporting.

Anche se non avevo molta esperienza con gli strumenti moderni di stack dei dati, sono stato fortunato a trovare un’azienda che credeva nella mia passione e nella mia voglia di imparare. A volte, se la compatibilità è giusta, l’azienda è disposta ad assumerti anche senza tutti i requisiti!

Competenze da sviluppare prima di passare all’ingegneria di analytics

Ci sono alcune competenze su cui ho dedicato del tempo a svilupparle prima di cercare un ruolo di ingegneria di analytics. Queste sono le competenze più essenziali e ti daranno un vantaggio rispetto agli altri candidati. Se ti concentri su queste tre competenze, sono sicuro che puoi facilmente imparare sul lavoro le altre competenze richieste per essere un buon ingegnere di analytics.

dbt

dbt, o data build tool, è lo strumento di trasformazione dei dati che ha aperto la strada agli analytics engineer. Infatti, l’azienda che lo ha creato è stata la prima a coniare il termine “analytics engineer”! Anche se non è necessario conoscere dbt per essere un analytics engineer, è una competenza molto ricercata dalle aziende che assumono per questo ruolo.

dbt è uno strumento basato su SQL, quindi se già conosci SQL, è abbastanza facile da imparare. Dovresti familiarizzare con la configurazione di un progetto dbt, le best practice per la modellazione dei dati e lo scopo di ogni tipo di modello di dati dbt. Consiglio di consultare le linee guida di stile di dbt per avere una panoramica dei “do” e “don’t” nella scrittura del codice SQL in dbt. Questo ti aiuterà a imparare gli standard che potresti trovare già in uso quando ti unisci a un team.

dbt utilizza anche un linguaggio di templating chiamato Jinja per la documentazione e le funzioni all’interno dello strumento. Tuttavia, anziché chiamarle funzioni, dbt le chiama macro. Le macro sono una funzionalità più avanzata ed equivalgono alle funzioni. Puoi usarle per automatizzare l’output SQL all’interno dei tuoi modelli di dati. Anche se non è necessario per ottenere un lavoro, è sicuramente una competenza utile per semplificare la vita di un analytics engineer.

Comunicazione aziendale

Questa è probabilmente la competenza più difficile da sviluppare e praticare come data engineer. Siamo così abituati a parlare in modo tecnico con altri ingegneri che ci dimentichiamo di spiegare le cose in modo comprensibile. Quando ti comunichi con i team aziendali, devi sapere come spiegare concetti tecnici a un pubblico non tecnico. Più semplice è meglio. Il pubblico a cui ti rivolgi quasi mai avrà la stessa competenza tecnica che hai tu.

Inoltre, devi comprendere il gergo aziendale che usano questi team. Sentirai costantemente diverse metriche come CAC, MRR, NPM e ROI. Assicurati di sapere cosa significano! Molto probabilmente queste sono le ragioni per cui stai creando un modello di dati in primo luogo. Devi comprendere gli obiettivi finali/metriche e i dati necessari per calcolarli.

Creazione di data pipeline

Fortunatamente, come data engineer, è molto probabile che tu abbia già questa competenza! La creazione di data pipeline è una competenza comune a molti data engineer che può essere utilizzata anche come analytics engineer. Tuttavia, in questo contesto, è importante sapere come orchestrare diversi modelli dbt con diverse fonti di dati. Devi essere in grado di gestire le dipendenze da diversi sistemi di origine.

Gli strumenti comuni per le data pipeline nell’ambito dell’analytics engineering includono Airflow, Prefect e Dagster. Tutti questi sono costruiti utilizzando Python, un’altra competenza importante da avere per la creazione di una pipeline. Scegli uno strumento e familiarizzati con esso! Una volta imparato uno, molto probabilmente puoi impararne altri.

Ciò che avrei voluto sapere prima di passare all’analytics engineering

Ovviamente, guardando indietro e passando dall’ingegneria dei dati all’analytics engineering, ci sono alcune cose che avrei voluto sapere che avrebbero reso il mio percorso molto più piacevole.

Le tue competenze di data engineering saranno ancora utilizzate ogni giorno e saranno estremamente preziose.

Passando da un data engineer ad un analytics engineer, è facile pensare che il tuo ruolo e il tuo set di competenze cambieranno completamente. Tuttavia, c’è molta sovrapposizione tra l’analytics engineering e l’ingegneria dei dati! Spesso, le competenze che acquisisci come data engineer diventano la tua arma segreta. Probabilmente puoi fare cose che gli altri analytics engineer non possono fare, quindi approfittane!

Credo che ti dia un vantaggio rispetto ad altri candidati quando ti presenti per ruoli, specialmente se stai cercando un ruolo di data in una piccola azienda che sta iniziando a costruire un team di dati. Molto probabilmente, cercano di ottenere il massimo risultato con il minimo sforzo e vogliono qualcuno che possa fare un po’ di tutto. Un data engineer desideroso di diventare un analytics engineer è la persona giusta per il lavoro!

Non devi conoscere tutto fin dall’inizio.

Puoi facilmente cadere nella trappola di dover imparare tutto in una volta. Devo sapere come configurare un connettore dati open-source come Airbyte prima di candidarmi per quel ruolo. Devo avere esperienza nella creazione di macro personalizzate in dbt prima di candidarmi per quel ruolo. Non posso candidarmi per quel ruolo finché non padroneggio ogni tipo di funzione di finestra SQL.

Invece di concentrarti su ciò che non sai, focalizzati su ciò che sai fare! Cosa ti rende unico? Perché qualcuno dovrebbe assumerti invece di qualcun altro? Pensa alle cose che non possono essere apprese sul lavoro e che ti distinguono. Il settore è in continua evoluzione, il che significa che ci sarà sempre qualcosa che non conosci. Accoglilo! Questo è uno dei migliori aspetti dell’ingegneria dell’analisi.

Quando ho iniziato come ingegnere dell’analisi, non avevo idea di cosa fosse la modellazione dimensionale. In realtà, l’ho scoperta attraverso la documentazione di dbt quando stavo sperimentando per la prima volta l’organizzazione del nostro data warehouse e la modellazione dei dati. Alla fine, sono stato in grado di imparare cos’era, applicare le tecniche al mio lavoro e migliorare le mie competenze di modellazione dei dati. Ora posso parlarti per giorni della modellazione dimensionale!

Non è mai troppo presto per iniziare a candidarsi per nuovi ruoli.

Se non sei soddisfatto, fai qualcosa al riguardo. Più tempo passi in una carriera che non ti soddisfa, più perdi opportunità di imparare e crescere. Ogni volta che ho cambiato carriera è stato perché il mio lavoro non rappresentava più una sfida per me. Se non impariamo cose nuove e non cresciamo come persone, rimaniamo fermi. E c’è qualcosa di peggio di questo?

Anche se pensi di non avere subito le competenze giuste, imparerai esplorando le tue opzioni. Sfoglia ruoli diversi e vedi cosa cercano le aziende. Quali sono le competenze comuni tra le offerte di lavoro? C’è qualcosa che non ti piacerebbe di un ruolo di ingegneria dell’analisi? Guardare le descrizioni dei lavori è un ottimo modo per scoprirlo!

Conclusione

Ora, guardando indietro, non avrei potuto fare una transizione più fantastica dall’ingegneria dei dati all’ingegneria dell’analisi. In fondo, sapevo che un ruolo puramente tecnico non era adatto a me. Avevo bisogno di lavorare con i dati in prima persona, utilizzandoli per risolvere problemi dei clienti e dell’azienda.

La vita è troppo breve per rimanere in un ruolo che non ti appaga appieno! Non aver paura di esplorare ciò che c’è là fuori, che sia l’ingegneria dell’analisi o meno. Qual è la cosa peggiore che può succedere? Se fai un salto e ti rendi conto che in realtà non fa per te, puoi sempre tornare al tuo vecchio ruolo. Ma, non lo saprai mai se non ci provi!