Mia esperienza con DevOps e DataOps
Mia esperienza con DevOps e DataOps Un viaggio nel mondo dell'efficienza operativa e dei dati
Come questi due ruoli dei dati sono simili ma molto diversi
Quando ho iniziato come ingegnere dei dati, ho lavorato in un team focalizzato su DevOps. Sebbene non fosse esattamente ciò che volevo fare nel mio primo ruolo, mi ha insegnato molto. Ora, guardando indietro, se non avessi lavorato in quel tipo di ruolo allora, probabilmente non avrei l’esperienza che ho oggi come ingegnere di analisi.
Ora, lavorando come ingegnere di analisi, mi concentro su qualcosa chiamato DataOps. Anche se questo potrebbe sembrare simile a DevOps, sono molto diversi. DevOps si focalizza sul software come prodotto, mentre DataOps si focalizza sulla produzione di dati di alta qualità. Per coloro che si concentrano su DataOps, i dati sono il prodotto!
Lavorando come ingegnere dei dati DevOps, ho supportato gli ingegneri del software apportando modifiche al codice della nostra applicazione web. Mi sono concentrato su testare le modifiche nell’interfaccia utente dopo ogni deployment anziché approfondire i dettagli dei dati. Non ho mai controllato il numero di righe in una tabella o se i valori in un campo erano popolati. Invece, mi sono assicurato che sul backend non venissero generati errori.
Come ingegnere di analisi, ogni volta che apporto una modifica al codice o spingo qualcosa in produzione, devo concentrarmi sui metadati, ovvero i dati sui dati. Ciò comporta la scrittura di query di convalida per garantire che cose come il conteggio delle righe, il conteggio delle colonne e la distribuzione dei valori appaiano come prima che io apporti una modifica. Oppure, se voglio che appaiano diversi rispetto a prima, riflettono quei cambiamenti!
- Introduzione alla regressione logistica in PySpark
- Lagrange Multiplier, Condizioni KKT e Dualità – Spiegate in modo intuitivo
- 5 Visualizzazioni con Python per Mostrare Cambiamenti Simultanei nei Dati Geospaziali
Sebbene DevOps e DataOps sembrino simili, hanno due scopi diversi. In questo articolo approfondiremo le differenze, toccando il prodotto che mirano a servire e le metriche di successo variabili.
Cos’è DevOps?
DevOps coinvolge il deployment e il testing di modifiche al codice del software. Quando ho lavorato come ingegnere DevOps, spesso coinvolgeva lunghe notti di deployment, test delle modifiche del codice in molti diversi ambienti e convalida delle modifiche con gli ingegneri del software che le hanno realizzate.
