Barometro dei dati globali Qual è lo stato attuale dei dati aperti nel mondo?

Global Data Barometer What is the current state of open data worldwide?

In che misura i paesi stanno adottando politiche e sistemi di dati per il bene pubblico?

Recentemente ho letto un libro sull’adozione di politiche di dati aperti nelle città di tutto il mondo. Si chiama Beyond Transparency (disponibile pubblicamente a questo link) e consiste in studi di casi che mostrano i successi e gli ostacoli delle politiche di dati aperti nei primi anni del 2010. Come suggerisce il titolo, fornire set di dati accessibili e gratuiti è un passo verso un governo più trasparente, ma non solo. Il libro parla di come questi dati abbiano stimolato l’innovazione, migliorato l’efficienza del governo e incoraggiato nuove abitudini civiche, come una maggiore partecipazione dei cittadini. Anche i professionisti dei dati, inclusi ingegneri e scienziati dei dati, hanno creato le proprie soluzioni basate su questi nuovi set di dati, costruendo modelli e app migliori. Per alcuni esempi di questi nuovi ecosistemi di tecnologia civica, date un’occhiata al capitolo Building a Smarter Chicago e al lavoro di analisi che è emerso da siti web come Data SF o Chicago Data Portal! Un altro capitolo personale preferito: The Data-Driven City, su come la raccolta delle chiamate al 311 permette a NYC di modellare i servizi di emergenza e l’allocazione delle risorse.

Dal 2010, centinaia di paesi hanno promulgato le proprie leggi sui dati aperti. Il Global Data Barometer (licenza: Creative Commons Attribution 4.0) misura lo stato dei dati aperti in 109 di essi, rispondendo alla domanda “In che misura i paesi gestiscono i dati per il bene pubblico?” Lo studio utilizza una combinazione di indicatori quantitativi e descrizioni qualitative per fornire un quadro chiaro di come il mondo stia facendo in termini di dati aperti. Questo è un lavoro incredibilmente approfondito, quindi penso che sia interessante dedicare del tempo ad esplorarne una parte con questa storia.

Nota veloce: per la storia, sto utilizzando i quaderni Observable (basati su JS) per le visualizzazioni e Jupyter per la manipolazione dei dati; i link a entrambi alla fine.

Cominciamo!

• Una guida completa su ‘Come gestire i dataset sparsi?
• Come il Machine Learning rivoluzionerà l’industria dei dati di localizzazione
• Stai affrontando le metriche di conversione? Considera il modello Beta-Binomiale.

Panoramica dell’indice: come si classificano i paesi?

L’indice complessivo dei paesi varia da 0 (inesistente) a 100 (migliori pratiche).

Il grafico sopra mostra una notevole dispersione. Il paese con il punteggio più alto (70) è gli Stati Uniti e il paese con il punteggio più basso (10) è il Turkmenistan, mentre il punteggio medio è 38.51. Questo indice viene generato esaminando le pratiche di dati aperti di ciascun paese su 4 fronti o “pilastri”: governance, capacità, disponibilità e utilizzo e impatto. Per ciascuno di questi pilastri, i paesi forniscono informazioni sull’esistenza di un particolare elemento (ad esempio, un quadro di protezione dei dati), elementi (caratteristiche legate alla qualità e caratteristiche dei dati aperti) e estensione (limitazioni e applicabilità di un framework specifico su tutto il territorio di un paese). Lo studio tiene anche traccia di indicatori secondari per ciascun pilastro, ognuno dei quali viene valutato su una scala da 0 a 100. Pertanto, un punteggio complessivo dell’indice di 100 rappresenterebbe un tipo di “ideale normativo” attraverso tutti questi indicatori primari e secondari.

I paesi con punteggi simili hanno ancora una grande varianza tra gli indicatori

Focalizziamoci sui paesi il cui indice si aggira intorno alla media (35-45). Ce ne sono 20, tra cui Albania e Kosovo, così come paesi provenienti da tutto il mondo: Giamaica, Kazakistan, Paraguay, Filippine, Perù, Thailandia e Sudafrica, tra gli altri.

Nonostante la somiglianza dell’indice complessivo, osservando i loro punteggi medi nei moduli, le loro prestazioni non sono affatto coerenti. Il Barometro compila punteggi tematici o moduli oltre ai pilastri, e i 7 moduli analizzano le pratiche dei dati aperti nelle seguenti aree: Salute e COVID-19, Terreni, Finanze pubbliche, Appalti, Azione climatica, Integrità politica e Informazioni aziendali. Ecco una panoramica sui moduli Azione climatica, Integrità politica e Appalti per questi 20 paesi:

Molti paesi presentano delle incongruenze:

• La Giamaica ha il punteggio più alto per l’Azione sul clima ma solo un punteggio basso per gli Appalti pubblici. Un’analisi più approfondita degli indicatori climatici rivela che la Giamaica fornisce dati ambientali attraverso il suo Istituto di Statistica, inclusi metriche come “precipitazioni, sole, incidenti di inquinamento, gas serra, aree forestali protette, livello del mare” e non presenta “evidenze di lacune nei dati”. Tuttavia, per gli Appalti pubblici, non ci sono informazioni pubbliche nella fase di pianificazione e i dati sono di scarsa qualità: non contengono nomi/identificatori delle aziende che hanno ottenuto i contratti o informazioni su “spesa effettuata in base al contratto”.
• In Albania, sono disponibili informazioni dettagliate sugli appalti online (link qui), tuttavia non sono coperte le implementazioni dei contratti e i dati sono solo parzialmente leggibili dalle macchine. Sono disponibili anche dati sul finanziamento politico, ma non contengono informazioni sui redditi dei partiti e dei candidati o informazioni di tracciamento storico.

Fare progressi in tutti questi ambiti porta ad un governo più trasparente ed efficiente. Ad esempio, avere migliori dati sugli appalti consente ai cittadini di analizzare dove e come viene speso il denaro in tutte le fasi di un progetto o di spingere per una distribuzione più equa. Allo stesso modo, avere dati trasparenti sulla lobby e dichiarazioni dei beni permette una maggiore responsabilità per l’integrità politica. Le informazioni sul clima consentono al pubblico di essere informato su aspetti come biodiversità, emissioni o vulnerabilità.

Esistono quadri di governance ma sono in gran parte frammentati

La governance è uno dei principali pilastri del dataset. Le domande a cui risponde riguardano la valutazione dello stato delle politiche e dei quadri guida che regolano la protezione e la gestione dei dati. La ricerca sulla governance monitora un paio di indicatori: “Politica di dati aperti” è uno di essi, mentre “protezione dei dati”, “quadri di condivisione dei dati” e “gestione dei dati” sono gli altri. Ecco come i paesi si posizionano su questi indicatori di governance:

Molti paesi si comportano in modo moderatamente positivo su metriche come la Protezione dei dati, la Politica dei dati aperti o la Gestione dei dati. Circa il 92% delle politiche esaminate ha una definizione comune di dati aperti, il 72% dei paesi ha qualche tipo di quadro di gestione dei dati in atto e il 90% di essi offre regolamentazioni sulla protezione dei dati (rapporto qui). Molti dei paesi offrono regolamentazioni parziali o complete su questioni di consenso dei dati, diritti di reclamo e accesso o correzione.

Nonostante esistano forme di quadri di governance dei dati, Global Open Data mostra che i paesi hanno ancora gravi limitazioni. Ad esempio, solo il 24% dei quadri affronta questioni legate alle informazioni di localizzazione e solo il 31% affronta la presa di decisioni algoritmiche (anche nel rapporto). La maggior parte di questi paesi si trova in Europa e in America del Nord: queste due regioni comprendono 17 dei 23 paesi che rispondono “Sì” alla domanda “I quadri coprono esplicitamente la protezione dei dati relativi alla posizione” e 20 dei 31 i cui “quadri affrontano la presa di decisioni algoritmiche”.

Gli ultimi due indicatori, Accessibilità e Copertura linguistica, valutano le regolamentazioni per garantire che i dati siano accessibili alle persone con disabilità e disponibili nelle lingue ufficiali di ciascun paese. Quest’ultimo è particolarmente importante per i paesi con molte lingue, ma è comunque frammentato: 13 dei 109 paesi raggiungono un punteggio di 100 in questa categoria (posseggono un quadro con forza di legge).

Gestire la risposta al COVID-19 è stata una sfida ma anche un’opportunità per la gestione dei dati

La pandemia da COVID-19 ha messo alla prova molti di questi sistemi di dati, soprattutto quelli a livello locale. Lo studio misura le capacità dei dati non solo sulla disponibilità dei dati sulla vaccinazione, ma anche sui dati sanitari in tempo reale (ad esempio i posti letto in terapia intensiva) e sulle statistiche vitali. Le statistiche vitali includono informazioni sulla nascita e sulla mortalità, i periodi storici e la disponibilità di questi dati a livello locale all’interno di un paese. Ecco una mappa termica di come si stanno comportando i paesi:

I dati sulla vaccinazione erano ampiamente disponibili nella maggior parte dei paesi nel dataset, tuttavia non senza problemi. Solo circa il 50% dei dataset disponibili era suddiviso per età e circa il 33% era scomposto per sesso (statistiche del rapporto). Inoltre, i dati sanitari in tempo reale erano disponibili solo nel 50% circa dei paesi e ancora meno pubblicavano informazioni sul numero di posti letto disponibili. Per alcuni di questi paesi, questo tipo di dati è stato reso disponibile per la prima volta durante la pandemia, il che permette ai paesi di iniziare a costruire su di esso per una migliore segnalazione sanitaria in futuro.

E quanto è stato facile per gli utenti esplorare i dati? Uno sguardo più approfondito rivela che 61 dei 109 paesi non offrivano strumenti aperti ufficiali che consentissero ai cittadini di accedere ai dati sulle statistiche vitali. Allo stesso modo, 63 dei 109 paesi non fornivano dati ufficiali e accessibili sulla vaccinazione COVID-19. 57 paesi non offrivano nemmeno dati leggibili dalle macchine (come CSV), che sono importanti per una distribuzione e riproduzione semplici.

Cosa succede per il futuro dei dati aperti? (e delle risorse)

Un importante risultato del rapporto è stato l’ambiente relativamente carente di dati aperti a livello globale (ricordiamo l’indice complessivo medio: 38/100). Come abbiamo già visto in questa storia, avere leggi completamente formate sui dati aperti è semplicemente essenziale. Oltre alla ricerca svolta dal Global Data Barometer, ci sono anche altri repository che monitorano nuove legislazioni riguardanti le questioni dei dati aperti in tutto il mondo. State of Open Data del Gov Lab è uno di questi. Quindi, date un’occhiata per leggi per settore o tipo di collaborazione!

In generale, però, il rapporto del Global Data Barometer ha evidenziato le sfide pratiche nell’adottare queste leggi, tra cui lacune di dati o dati inaccessibili o non disponibili. Un esempio sorprendente che abbiamo esaminato riguardava la pubblicazione e la gestione dei dati sanitari, specialmente in situazioni di emergenza come il COVID-19, dove avere informazioni tempestive è cruciale. Questo esempio, tuttavia, ha mostrato anche come nuove sfide possano anche stimolare i dati a promuovere la trasparenza e consentire ai cittadini di rimanere informati, il che è molto promettente! Nel complesso, il rapporto individua aree molto specifiche su cui ogni paese deve concentrarsi, offrendo strategie specifiche per il contesto per una migliore raccolta dei dati pur fornendo una visione d’insieme delle sfide attuali con i dati aperti.

Ecco i notebook (Jupyter e Observable),

Grazie per la lettura!