Tendenze lavorative nell’analisi dei dati Parte 2

Tendenze lavorative nell'analisi dei dati - Parte 2

Di Andrea De Mauro e Mahantesh Pattadkal

 Mentre riprendiamo da dove ci eravamo fermati nella Parte 1 della serie di blog “Tendenze lavorative nell’analisi dei dati“, il nostro viaggio nel mondo delle tendenze lavorative dell’analisi dei dati e il ruolo del Natural Language Processing (NLP) continua.

Nella Parte 1, abbiamo presentato l’applicazione “Tendenze lavorative nell’analisi dei dati“, che riguarda la raccolta di dati e l’applicazione dell’NLP per analizzarli, con la tecnologia di KNIME Analytics Platform. Abbiamo discusso della fase di web scraping utilizzata per raccogliere dati in tempo reale sul mercato del lavoro dell’analisi dei dati, seguita dal processo di pulizia dei dati utilizzando tecniche di NLP. Abbiamo poi introdotto un modello di argomento che ha rivelato sette skillset omogenei all’interno delle offerte di lavoro. Tali skillset rappresentano le competenze e le attività che i datori di lavoro in vari settori cercano nei professionisti dell’analisi dei dati.

Nella seconda parte della serie di blog, descriveremo i skillset identificati e faremo alcune considerazioni basate sui dati sull’evoluzione del panorama delle carriere professionali nella Data Science.

 

Gli Argomenti e Le Loro Descrizioni

 Per etichettare i skillset, utilizziamo i termini e i pesi più frequenti identificati attraverso l’algoritmo LDA precedentemente applicato alle offerte di lavoro. Analizziamo ulteriormente le descrizioni di lavoro di ciascun argomento per evidenziare le attività chiave, le competenze essenziali e i settori in cui sono più comuni. Comprendere questi argomenti può aiutare i candidati a trovare un lavoro ad allineare le loro competenze con le richieste del mercato e aumentare le loro possibilità di ottenere una posizione adeguata nel campo dell’Analisi dei Dati. Nei paragrafi seguenti, troverai una breve descrizione di ciascun skillset.

 

Argomento 0: Ricerca e Analisi dei Dati

 La tabella seguente mostra i cinque termini principali e i loro pesi per l’argomento 0. I pesi si riferiscono all’importanza del termine nella definizione di quell’argomento specifico. Considerando questi termini e i documenti etichettati come argomento 0, interpretiamo questo skillset come “Ricerca e Analisi dei Dati”.

 

Termine Peso
Ricerca 4510
Posizione 4195
Informazioni 4112
Salute 3404
Università 2118

Tabella 0: Pesi dei Termini per l’Argomento 0 

Questo skillset comprende attività come conduzione di ricerche, analisi dei dati e fornire informazioni che guidano la presa di decisioni in vari settori. Come base dell’analisi dei dati, questo skillset facilita l’estrazione di informazioni preziose dai dati, l’identificazione delle tendenze e la presa di decisioni informate. Dalle informazioni che abbiamo raccolto all’interno del corpus delle offerte di lavoro, i requisiti fondamentali di competenza connessi a questo skillset sono:

  • Forti capacità analitiche e di problem solving
  • Competenza nei software statistici (R, Python)
  • Esperienza con strumenti di visualizzazione dei dati
  • Effettiva comunicazione e capacità di documentazione
  • Una formazione nel campo correlato (matematica, statistica o data science)

 

Argomento 1: Amministrazione e Supporto Clienti

 

Osservando i termini e i pesi della Tabella 1 e i documenti associati all’Argomento 1, abbiamo deciso di etichettarlo come “Amministrazione e Supporto Clienti”. Questo skillset comporta la gestione delle interazioni con i clienti, il fornire supporto amministrativo e il coordinamento di processi logistici o di approvvigionamento.

 

Termine Peso
Supporto 2321
Gestione 2307
Informazioni 2134
Posizione 2126
Cliente 1909

Tabella 1: Termine-Pesi per Argomento 1 

A nostro parere, le competenze fondamentali necessarie per avere successo in lavori che richiedono questo insieme di competenze sono:

  • Forti capacità organizzative e di gestione del tempo
  • Attenzione ai dettagli
  • Competenza nell’uso di software per ufficio e strumenti di comunicazione
  • Eccellenti capacità interpersonali e di risoluzione dei problemi

 

Argomento 2: Marketing e Gestione dei Prodotti

 

Basandoci sui termini mostrati nella Tabella 2, interpretiamo questo come l’insieme di competenze “Marketing e Gestione dei Prodotti”.

 

Termine Peso
Business 8487
Gruppo 8021
Prodotto 6825
Cliente 3923
Marketing 3740

Tabella 2: Termine-Pesi per Argomento 2 

Questo insieme di competenze ruota attorno allo sviluppo di strategie di marketing, alla gestione del ciclo di vita dei prodotti e alla promozione della crescita del mercato. È vitale nei lavori incentrati sull’analisi dei dati, poiché consente ai professionisti di utilizzare informazioni basate sui dati per prendere decisioni informate riguardo alle tendenze di mercato, alle preferenze dei clienti e alle prestazioni dei prodotti.

Le competenze essenziali richieste nell’ambito di Marketing e Gestione dei Prodotti sono:

  • Forti capacità analitiche e di pensiero strategico
  • Competenza nella ricerca di mercato e nell’intelligence competitiva
  • Esperienza con gli strumenti e le piattaforme di marketing
  • Eccellenti capacità di comunicazione e di leadership
  • Un background in economia aziendale, marketing o un campo correlato

 

Argomento 3: Gestione Aziendale, Governance dei Dati e Conformità

 

Basandoci sui termini mostrati nella Tabella 2, abbiamo concluso che si riferisce all’insieme di competenze “Gestione Aziendale, Governance dei Dati e Conformità”.

Questo insieme di competenze comprende la supervisione delle operazioni aziendali, garantendo la qualità e la sicurezza dei dati e la gestione dei rischi e dei requisiti normativi. Nei lavori incentrati sull’analisi dei dati, questo insieme di competenze consente di mantenere l’integrità dei dati, monitorare la conformità, identificare i rischi e ottimizzare i processi aziendali utilizzando informazioni basate sui dati.

 

Termine Peso
Business 14046
Gestione 10531
Gruppo 5835
Analisi 5672
Progetto 4309

Tabella 3: Pesi dei Termini per l’Argomento 3

In base alle nostre scoperte, le competenze richieste all’interno di questo set di competenze sono:

  • Forti capacità organizzative e di leadership
  • Competenza nella gestione dei dati, nella governance dei dati e nella valutazione del rischio
  • Esperienza nella comprensione dei quadri normativi e degli standard del settore
  • Competenze efficaci di comunicazione e risoluzione dei problemi
  • Un background in economia aziendale, finanza o un campo correlato

Argomento 4: Business Intelligence e Visualizzazione dei Dati

Osservando i termini che abbiamo trovato all’interno dell’Argomento 4, lo chiamiamo “set di competenze di Business Intelligence e Visualizzazione dei Dati”.

Questo set di competenze comprende la progettazione di soluzioni di BI sempre presenti come dashboard e report, la creazione di visualizzazioni informative e l’analisi dei dati per decisioni informate. È fondamentale per lavori che sfruttano l’analisi dei dati, trasformando dati grezzi in informazioni concrete per decisioni strategiche.

Termine Peso
Business 19372
Analisi 7687
Power bi 7359
Intelligenza 7040
Sql 5836

Tabella 4: Pesi dei Termini per l’Argomento 4

Secondo la nostra opinione, i requisiti di competenza fondamentali per la Business Intelligence e la Visualizzazione dei Dati sono:

  • Forti abilità analitiche e di problem solving
  • Competenza negli strumenti di BI (come Power BI, Tableau, SQL)
  • Esperienza nelle tecniche di visualizzazione dei dati
  • Competenze efficaci di comunicazione e narrazione

Argomento 5: Data Warehouse e Infrastruttura Cloud

In base ai termini mostrati nella Tabella 5, interpretiamo questo come il “set di competenze di Data Warehouse e Infrastruttura Cloud”.

Le offerte di lavoro che richiedono un set di competenze nell’ingegneria cloud e dei big data sono tipicamente collegate ad attività come la progettazione e l’implementazione di soluzioni basate su cloud, la gestione di elaborazioni di dati su larga scala e lo sviluppo di applicazioni software. È fondamentale per lavori focalizzati sull’analisi dei dati, consentendo un’elaborazione e un’analisi efficiente di grandi volumi di dati per ottenere informazioni preziose.

Termine Peso
Sviluppo 4525
Cloud 3998
Ingegneria 3692
Software 3510
Progettazione 3494

Tabella 5: Pesi dei Termini per l’Argomento 5

Secondo la nostra opinione, i requisiti di competenza fondamentali legati a questo set di competenze sono:

  • Forti abilità di programmazione e problem solving
  • Competenza nelle piattaforme cloud (come AWS, Azure e Google Cloud)
  • Esperienza con le tecnologie dei big data (come Hadoop, Spark e database NoSQL)
  • Conoscenza delle politiche di Sicurezza delle Informazioni e dei processi correlati

Argomento 6: Machine Learning

 

In base ai termini mostrati nella Tabella 6, interpretiamo questo come un insieme di competenze chiamate “Machine Learning”, che ruota attorno alla progettazione di modelli di intelligenza artificiale, alla ricerca di tecniche avanzate di machine learning e allo sviluppo di soluzioni software intelligenti. Nei lavori intensivi di analisi dei dati, questa forma la base per l’addestramento dei modelli di intelligenza artificiale e l’ottimizzazione delle prestazioni.

 

Termine Peso
Machine 9782
Scienza 8861
Ricerca 4686
Computer 4209
Python 4053

Tabella 6: Pesi dei termini per il Topic 6 

Secondo i nostri risultati, le competenze fondamentali richieste nel machine learning oggi sono:

  • Forti competenze di programmazione e matematica
  • Competenza nelle piattaforme di machine learning (come TensorFlow, PyTorch)
  • Esperienza con tecniche avanzate di intelligenza artificiale (come deep learning e elaborazione del linguaggio naturale)
  • Competenze di comunicazione e collaborazione efficaci

 

Le Competenze e i Profili Professionali

 In questa puntata, il nostro focus si sposta sull’analisi dettagliata delle associazioni delle competenze rivelate attraverso la modellazione dei topic tra tre profili professionali distinti: Ingegnere dei Dati, Analista dei Dati e Scienziato dei Dati. Per allineare questi profili professionali con le offerte di lavoro, abbiamo utilizzato un classificatore basato su regole. Questo classificatore è riuscito a determinare il profilo di una posizione lavorativa in base alle parole chiave presenti nel titolo del lavoro. Ad esempio, un annuncio di lavoro intitolato “Architetto dei Dati” sarebbe stato categorizzato come un ruolo di Ingegnere dei Dati, mentre un annuncio intitolato “Ingegnere di Apprendimento Automatico” sarebbe stato attribuito alla categoria Scienziato dei Dati.

Utilizzando la modellazione dei topic basata sulla distribuzione di Dirichlet Latente (LDA), otteniamo i pesi dei topic per ciascun annuncio di lavoro, che coprono sette competenze distinte. Calcolando il peso medio di ciascuna competenza tra tutti i profili professionali, otteniamo il peso medio della competenza specifico per ciascun ruolo. Nota bene, questi pesi vengono quindi normalizzati e rappresentati come percentuali.

Come illustrato nella Figura 1, presentiamo una visualizzazione interessante dell’interazione tra le designazioni professionali e le competenze corrispondenti. Questa visualizzazione racchiude le aspettative collettive dei datori di lavoro riguardo alle competenze fondamentali cruciali per gli Ingegneri dei Dati, gli Analisti dei Dati e gli Scienziati dei Dati.

Come era prevedibile, il ruolo dell’Ingegnere dei Dati richiede in modo prominente padronanza delle competenze di “Data Warehouse & Infrastruttura Cloud”. Inoltre, una conoscenza supplementare della visualizzazione e del machine learning è imperativa. Questa enfasi sulla diversità delle competenze può essere attribuita all’aspettativa che gli Ingegneri dei Dati siano fondamentali nel supportare sia gli Analisti dei Dati che gli Scienziati dei Dati.

Al contrario, l’expertise predominante proiettata per gli Scienziati dei Dati risiede nel “Machine Learning”, seguito da una competenza nella metodologia di “Ricerca”. In particolare, un set di competenze ibrido che include “Business Management” e “Product Management” occupa un posto di rilievo in termini di importanza. Questo racchiude il complesso insieme di competenze richieste dal mercato del lavoro per gli aspiranti Scienziati dei Dati.

Rivolgendoci al dominio degli Analisti dei Dati, emerge un requisito cruciale per la competenza in “BI e Visualizzazione”. Dato il loro ruolo nella generazione di rapporti aziendali, nel conducente dei dashboard e nel monitoraggio della vitalità aziendale, ciò non sorprende. La richiesta parallela di “Business Management” come competenza chiave secondaria riflette l’acutezza strategica attesa da questo ruolo. Inoltre, simile al ruolo degli Scienziati dei Dati, è richiesta la competenza nella gestione dei prodotti e nella ricerca all’interno dello spettro degli Analisti dei Dati.

In sintesi, questa esplorazione sottolinea il paesaggio sfumato dei prerequisiti delle competenze per vari ruoli nell’analisi dei dati. Rappresenta le aspettative articolate dei datori di lavoro per i candidati che aspirano a eccellere nei ruoli di Ingegnere dei Dati, Analista dei Dati e Scienziato dei Dati.

 Figura 1: Il grafico radar visualizza l’associazione tra i profili professionali tracciati rispetto alle competenze mostrate nelle dimensioni (clicca per ingrandire). 

Conclusione

La nostra analisi delle offerte di lavoro nel campo in espansione dell’Analisi dei Dati mira a categorizzare le posizioni lavorative in base alle abilità specifiche e a chiarire la diversa gamma di capacità richieste in ciascuna categoria. Con la crescita esponenziale in questo settore e la natura critica delle decisioni basate sui dati, il processo di raccolta, archiviazione e analisi dei dati ha visto notevoli progressi, portando a una domanda insaziabile di professionisti competenti nell’analisi dei dati.

Attraverso la classificazione delle offerte di lavoro in sette argomenti di competenze notevoli, mettiamo in luce la necessità sia di competenze specializzate che poliedriche in questo settore in rapida evoluzione. Gli argomenti spaziavano dall’analisi dei dati e dall’intelligenza aziendale all’apprendimento automatico e all’intelligenza artificiale, sottolineando la crescente domanda di individui capaci di sfruttare dati, tecnologia e lavoro di squadra interfunzionale.

Detto ciò, questa analisi presenta diverse limitazioni. La natura dinamica del mercato del lavoro e l’emergere di nuove tecnologie e metodologie richiedono un aggiornamento continuo della nostra analisi rispetto alla visione statica “istantanea” che abbiamo adottato qui. Inoltre, il nostro approccio potrebbe non aver catturato ogni sfumatura dei diversi ruoli lavorativi e delle competenze nell’ambito dell’Analisi dei Dati, data la dipendenza dalle offerte di lavoro disponibili al momento della ricerca.

Tutto il nostro lavoro è liberamente disponibile su KNIME Community Hub Public Space – “Job Competency Application”. Puoi scaricare e giocare con i workflow per provarli e scoprirli da solo e per estenderli o migliorarli.

Cosa fare dopo?

Guardando avanti, vediamo il potenziale per un’espansione considerevole di questa analisi. Ciò include lo sviluppo di componenti KNIME per implementare il metodo di “Rimozione delle frasi di stop” descritto nella Parte 1 e di un framework di visualizzazione interattivo uomo-macchina in KNIME. Un tale framework semplificherebbe il processo di giudizio umano nella selezione del modello di argomento più coerente per un determinato corpus, migliorando la scalabilità del nostro lavoro. Immaginiamo anche l’applicazione di meccanismi assistiti da LLM per supportare e semplificare la fase di modellazione degli argomenti: questo scenario lascia sicuramente spazio a ulteriori sperimentazioni e ricerche.

I professionisti nel campo dell’Analisi dei Dati devono rimanere informati e adattabili di fronte alle tecnologie emergenti. Ciò assicura che le loro competenze rimangano pertinenti e preziose nel panorama in continua evoluzione della presa di decisioni basata sui dati. Riconoscendo e coltivando le competenze legate agli argomenti identificati, i cercatori di lavoro possono acquisire un vantaggio competitivo in questo mercato dinamico. Per proteggere la loro rilevanza nel campo, i professionisti dell’Analisi dei Dati devono mantenere la curiosità lungo tutta la loro carriera e continuare a imparare in modo continuativo.

Mahantesh Pattadkal porta più di 6 anni di esperienza nella consulenza su progetti e prodotti di data science. Con una laurea magistrale in Data Science, la sua esperienza si evidenzia nell’apprendimento profondo, nell’elaborazione del linguaggio naturale e nell’apprendimento automatico spiegabile. Inoltre, collabora attivamente con la Community KNIME per progetti basati sulla data science.

****[Andrea De Mauro](https://www.linkedin.com/in/andread/)**** ha oltre 15 anni di esperienza nella costruzione di team di business analytics e data science in aziende multinazionali come P&G e Vodafone. Oltre al suo ruolo aziendale, si dedica all’insegnamento di Marketing Analytics e Applied Machine Learning presso diverse università in Italia e Svizzera. Attraverso la sua ricerca e scrittura, ha esplorato l’impatto commerciale e sociale dei Dati e dell’Intelligenza Artificiale, convinto che una più ampia alfabetizzazione nell’analisi dei dati possa migliorare il mondo. Il suo ultimo libro è ‘Data Analytics Made Easy’, pubblicato da Packt. È apparso nella lista globale “Forty Under 40” della rivista CDOmagazine nel 2022.