Nessuna ‘scienza’ nella scienza dei dati?

Nessuna 'magia' nella scienza dei dati?

Stiamo analizzando i dati, o ingegnerizzando la realtà?

Vernagt Ferner - Alpi di Tyrol. Immagine dell'autore.

Introduzione

Nessun problema, non ho scelto questo titolo per lamentarmi di come la scienza dei dati non sia una “vera scienza” (qualsiasi cosa ciò significhi). Piuttosto, spero di fornire alcuni punti di vista diversi su cosa significhi essere un data scientist, che spero possano aiutare a pensare a diverse prospettive nell’analisi di un problema. Inizialmente avevo intenzione di chiamare questo saggio “Cosa ho imparato come data scientist da Platone e il Nerd” [1]. Platone e il Nerd è un libro scritto da Edward Ashford Lee che ho scoperto di recente. Il titolo del libro non trasmette realmente di cosa si tratta. In un certo senso, ciò è giusto per lo stile di scrittura di Lee. Egli prende molti interessanti sentieri secondari, che lui chiama “tempeste di nerd”, facendo in modo che il messaggio principale del suo libro rimanga opaco. In questo saggio mi focalizzerò su un aspetto del suo libro: la differenza tra scienza e ingegneria e come questa si scontra con il pensiero comune in Data Science. Nonostante Lee abbia scritto il libro per un pubblico generale, ho trovato il libro particolarmente utile per riflettere sui miei studi in informatica/tecnologia dell’informazione.

Immagino che questo saggio possa essere visto come una conseguenza di come Lee descrive la differenza tra ingegneria e scienza. In particolare, attraverso le argomentazioni di Lee, il pensiero comune secondo il quale “[Data science è un] concetto per unificare statistica, analisi dei dati, informatica e i loro metodi correlati [allo scopo di] comprendere e analizzare fenomeni reali [con i dati].” (mia enfasi) [2], che al momento della scrittura è la prima citazione nella pagina di Data Science di Wikipedia, sembra essere un fraintendimento. Nel resto di questo saggio cercherò di spiegare perché, secondo le argomentazioni di Lee, questo sia il caso. Lo farò prima analizzando più da vicino cosa intendiamo più spesso con “fenomeni reali”. In secondo luogo, rifletterò sulla distinzione di Lee tra ingegneria e scienza, cosa che, dato che parliamo di data science, sembra rilevante. Infine, farò delle riflessioni su cosa questo possa significare per il lavoro dei data scientist.

Vernagthutte - Alpi di Tyrol. Immagine dell'autore.

Mettere alla prova la realtà (e perché ciò è necessario)

Ultimamente ho ascoltato molto il podcast della BBC “You’re Dead to Me” [3], un podcast comico sulla storia. Un episodio che mi piace in particolare parla della storia del cronometraggio. Nell’episodio, si parla dei molti aspetti del tempo che al giorno d’oggi diamo per scontati. Anche se utilizzo costantemente concetti di tempo, questo episodio mi ha fatto rendere conto di quanto poco io sappia (e sappiamo) su come questi concetti siano nati. Accetto semplicemente che un’ora contenga 60 minuti, che ci sia una differenza tra il tempo lavorativo e quello di svago, o che il tempo esista in un continuo. Tutti questi concetti sul tempo sono le visioni di persone che ancora risuonano nella nostra cultura senza che ce ne rendiamo conto. Non stupisce che Lee si riferisca a essi come “noti sconosciuti”. I noti sconosciuti vengono anche chiamati in un altro modo: modelli mentali.

Un compito importante della scienza è rendersi conto di questi noti sconosciuti e testarli contro la realtà. La storia della scienza è piena di esempi del genere. Prima di Copernico, il modello mentale comune era che il sole ruotasse intorno alla terra. Per lungo tempo nella nostra storia, la sanguinazione o l’uso del mercurio erano considerati validi dal punto di vista medico. Anche la statistica stessa è piena di noti sconosciuti. Combattere l’incertezza tramite l’uso della media invece di affidarsi all’osservazione singola più “affidabile” era raro e spesso criticato prima del 1750. Quando Euler cercò di prevedere i movimenti di Giove e Saturno, utilizzava i punti dati che considerava più probabili, anziché fare una media su tutti i dati per fare previsioni [4, pp. 25-31]. In un altro esempio, gli economisti del XIX secolo dovettero difendersi da accuse legali quando combinavano i prezzi di diversi prodotti in un indice [4, Cap. 1], anche se a quel tempo i metodi statistici erano ampiamente usati tra gli astronomi.

Per uno scienziato dei dati, testare i modelli mentali contro la realtà sembra essere al centro delle proprie attività. Questo non è vero solo per esempi banali, come il test A/B, ma anche per la previsione e l’ottimizzazione. Le persone hanno una forte tendenza a collegare pezzi di informazioni per creare una storia coerente, anche se queste informazioni sono effettivamente scollegate (il cosiddetto bias dell’occhio dietro). Una volta che una storia del genere è nella testa di qualcuno, può essere difficile cambiarla. Infatti, il bias della conferma suggerirebbe che la persona cercherà principalmente prove a sostegno della storia. Anche se puoi dimostrare che un modello di previsione è più accurato, o che un algoritmo di pianificazione ha prestazioni superiori rispetto a ciò che può fare un essere umano, troverai sempre persone che sostengono che il modello non funziona in questa o quella eccezione. O che, essendo il modello una scatola nera, non può essere affidato. Ho personalmente vissuto questa esperienza con gli sviluppi recenti intorno a ChatGPT. È difficile accettare che questo software possa scrivere questo blog, dato solo poche parole di istruzioni, forse meglio di me. Questo mi fa solo pensare a motivi per cui ChatGPT potrebbe essere inaccurato, insicuro o non affidabile. L’idea che un modello che crei sarà percepito con una mente aperta è un’illusione. Devi sempre competere con modelli già esistenti, mentalmente o fisicamente.

Una delle mie citazioni preferite sulla verifica dei modelli mentali contro la realtà proviene da Croll e Yozkovitz nel loro libro Lean Analytics [5]:

“Siamo tutti illusi – alcuni più di altri. Gli imprenditori sono i più delusi di tutti. […] Mentire potrebbe persino essere un requisito indispensabile per avere successo come imprenditore – dopotutto, devi convincere gli altri che qualcosa è vero in assenza di buone e solide prove. Hai bisogno di credenti che facciano un salto di fede con te. Devi mentire a te stesso, ma non fino al punto da mettere a rischio la tua attività.

Ecco dove entra in gioco il dato.”

Il dato viene utilizzato come uno specchio per convalidare i modelli mentali contro la realtà. Pertanto, lo chiamiamo data science. Uno scienziato, nelle parole di Lee, “sceglie (o inventa) un modello che sia fedele all’obiettivo”. La citazione di Croll e Yozkovitz sottolinea anche che creare modelli mentali basati su credenze precedenti non è intrinsecamente negativo: l’autodecezione è una linea sottile. Da un lato, può essere importante illudersi di essere in grado di fare qualcosa. Prendi la sindrome dell’impostore, quella sensazione che le persone hanno che il successo raggiunto sia solo fortuna e che possano essere smascherate come impostori da un momento all’altro. Devi “far finta finché ce la fai”, per superare tali bias cognitivi. D’altra parte, molti sono troppo fiduciosi delle loro decisioni (ad esempio, l’effetto Dunning Kruger). Il tuo ego ti impedisce di fare ciò che dovresti fare, o ostacola il riconoscimento che non dovresti fare ciò che stai facendo.

Ciò che rende l’autodecezione particolarmente difficile è che in un certo senso non è mentire, nel senso che questi bias cognitivi ti fanno credere effettivamente che il tuo modello mentale sia la realtà, e non accetterai facilmente argomenti che ti dicono il contrario [22, p. 490-492]. Questo è ciò che rende difficile la scienza dei dati: a volte puoi avere tutte le prove, ma se queste sono contrarie al modello mentale del decision maker, avrai difficoltà a convincere quella persona. Come dice il detto: il ruolo di uno scienziato dei dati è quello di dire alle persone che il loro bambino è brutto, di solito le persone non sono molto felici di sentirlo.

Quindi, questo era il mio modello mentale di ciò che significa essere uno scienziato dei dati, finché Plato e il Nerd non l’hanno smontato.

Monte Chaberton - Claviere, Piemonte. Immagine dell'autore

La realtà è una pila di modelli mentali

Se rileggi il paragrafo precedente, scoprirai che ciò che ho appena chiamato ‘realtà’ è carico di un’altra pila di modelli mentali. Il “Lean” in Lean Analytics si riferisce al modello mentale del Lean Startup di Eric Ries [6], che promuove un metodo di rapida sperimentazione imprenditoriale per una crescita rapida. Si spera che ciò porterà l’azienda a diventare abbastanza grande da essere quotata in borsa. Successivamente, l’idea che le aziende abbiano bisogno di “scalare velocemente” è probabilmente ispirata dai modelli di business di successo delle organizzazioni esponenziali della Silicon Valley [7] (anche se solo lo 0,4% di tutte le start up effettivamente scalano [8]).

Approfondendo nella storia, l’idea che le aziende abbiano bisogno di crescere è chiaramente una concezione capitalista, originata, tra gli altri, dai pensieri del XVIII secolo di Adam Smith. L’idea di una società pubblica è un’invenzione del XVII secolo della Compagnia delle Indie Orientali Olandesi (VOC) [9], proveniente da un paese che a quel tempo era stato appena costituito, dopo essere stato forgiato da quattro generazioni di governanti borgognoni. Forse ancora più interessante è il concetto di denaro stesso, di cui Lee si riferisce a Searle [10 p.78] dicendo che il denaro è “qualunque cosa le persone usino e considerino come denaro”.

Come chiunque abbia mai avuto una discussione con un bambino di sei anni può testimoniare, possiamo continuare a scavare nei modelli mentali chiedendo “perché”, solo per arrivare a nuovi modelli. Fino a quando, ad un certo punto, si arriva a certi modelli mentali che sembrano essere gli assiomi del proprio pensiero. Ma c’è una cosa: tutti questi modelli sono, beh, modelli. Non sono la realtà. Anche modelli fondamentali come la meccanica quantistica sono inesatti quando li si considera su larga scala.

Mt Chaberton — Claviere, Piedmont. Immagine dell'autore.

Perché un data scientist è un ingegnere

Sei circondato da modelli mentali, ed è qui che entra in gioco l’ingegnere. Lee scrive sulla differenza tra uno scienziato e un ingegnere:

“Possiamo scegliere (o inventare) un modello che sia fedele al target, o possiamo scegliere (o inventare) un target che sia fedele al modello. Il primo è l’essenza di ciò che fa uno scienziato. Il secondo è l’essenza di ciò che fa un ingegnere.” P.197.

Come esempio, Lee cita il transistor. Il transistor è un modello di un interruttore acceso/spento. Cioè, i transistor non sono davvero interruttori acceso/spento: sono amplificatori. I transistor sono stati semplicemente creati in modo tale da essere approssimazioni vicine agli interruttori acceso/spento. Il target (il transistor) è fedele al modello (un interruttore acceso/spento). Seguendo le definizioni di ingegnere e scienziato sopra citate, la creazione del transistor è un compito ingegneristico. Inoltre, Lee mostra che anche le leggi elettromagnetiche come la legge di Faraday, che descriverebbero il “comportamento reale” dei transistor, sono in realtà modelli. Solo in determinate situazioni la realtà obbedisce a questi modelli; in altre, possono essere completamente errati. Infatti, la scienza sembra essere una pila di modelli, ognuno costruito sulle approssimazioni dei precedenti. Questo si interrompe solo quando a un certo livello di astrazione la realtà diventa infedele al modello. Come Lee dimostra nei capitoli dal 2 al 6, la pila di modelli in informatica, dai transistor ai siti web, sembra essere quasi infinita.

I modelli economici non sono diversi. La prossima volta che incontri qualcuno, chiedi a quella persona se puoi prendere in prestito la sua penna. Sorprendentemente, la maggior parte delle persone non ti chiederà una tariffa o addirittura insisterà affinché tu tenga la penna. All’interno di determinati contesti di interazione umana, sembra prevalere una forma di “comunismo quotidiano”, non il capitalismo [11, pp. 94–102].

Ma Lee continua a sostenere che, in realtà, la maggior parte di ciò che chiamiamo scienza è ingegneria.

“Ma in modo più fondamentale, il titolo [Platone e il nerd] mette in opposizione l’idea che la conoscenza, e quindi anche la tecnologia, siano costituite da idee platoniche che esistono indipendentemente dagli esseri umani e siano scoperte dagli esseri umani, e un’idea opposta che gli esseri umani creino piuttosto che scoprire la conoscenza e la tecnologia. […] Il nerd nel titolo è una forza creativa, soggettiva e persino eccentrica, e non un minatore oggettivo di verità preesistenti”.

Dopo aver letto questo, ho avuto la sensazione di aver forse scelto la professione sbagliata. Per me, il concetto di Data Science era proprio la parte della “scoperta”. Si dovrebbe analizzare i dati come un osservatore indipendente, arrivando a “insight” che aiutano l’organizzazione ad aggiungere “valore”. Seguendo questo concetto, il Data Scientist è come Poirot di Agatha Christie, l’ispettore che cerca prove per risolvere il mistero, ma che non fa parte di come l’omicidio è pianificato. E, naturalmente, una volta risolto il mistero, viene rivelato al pubblico (per il data scientist, in una presentazione su Power Point leggermente meno spettacolare), che ammirano la brillantezza della soluzione. È vero, è un po’ esagerato, ma l’idea che la soluzione debba essere complessa e scoperta da uomini bianchi con gli occhiali fa certamente parte di un altro modello mentale [12]. Seguendo la definizione di scienziato di Lee, il nostro Data Science Poirot descrive davvero qualcuno che inventa un modello fedele alla realtà, quindi uno scienziato.

Ma ora considera il seguente problema: ti viene fornito un certo dato storico sulle vendite (vedi figura qui sotto) di un prodotto relativamente nuovo, di cui tu e molti altri siete quasi certi che le vendite aumenteranno nel prossimo futuro. Quale previsione farai? Lasciare che i dati parlino da soli: adattare un modello lineare ed estrapolare il futuro? O utilizzerai queste informazioni per definire un modello con una crescita esponenziale nei prossimi anni? Facciamo finta di scegliere quest’ultima opzione, facciamo la previsione e la condividiamo con il proprietario dell’azienda. Il proprietario dell’azienda decide successivamente di avviare la macchina del marketing per realizzare la previsione. La tua previsione è ora diventata un obiettivo aziendale, le vendite aumentano e superano anche la tua previsione. Seguendo la discussione di Lee sugli ingegneri e gli scienziati: i risultati aziendali sono stati ingegnerizzati? O erano una scienza inevitabile?

Questo esempio proviene da Planning e Forecasting nel XXI secolo di Makridakis [13]. Nel suo libro, descrive un esperimento in cui si chiede ai proprietari di aziende di fare previsioni basate su alcuni dati storici sulle vendite. Insieme ai dati, viene loro detto che il prodotto è vecchio, nuovo o maturo. Come si può vedere dalla Figura 1, le previsioni erano drasticamente diverse. Nessuna di queste previsioni è intrinsecamente sbagliata; seguono il modello mentale del ciclo di vita del prodotto. Semplicemente mostra che anche con gli stessi dati, le previsioni possono essere completamente diverse, il che influisce successivamente sulle azioni e sui risultati. Il nostro data scientist ha risolto il crimine o lo ha commesso?

La realtà è che, come data scientist, giochi un ruolo importante nella definizione di “valore” (il modello). Hai discussioni con l’azienda su come possono aggiungere valore attraverso i dati. Svolgi un ruolo nella definizione degli indicatori chiave di prestazione. Se non si può trovare un beneficio finanziario, allora spesso c’è qualcos’altro che trae vantaggio dall’analisi dei dati. Un data scientist di successo, in molte occasioni, è davvero qualcuno che sa come cambiare il comportamento (ad esempio, quello dei clienti), per essere fedele a un certo modello (ad esempio, ottimizzare il ricavo). Ovviamente, si può piegare la realtà solo fino a un certo punto. Cambiare il comportamento umano può essere difficile. Ma non rendersi conto che, come data scientist, puoi, e probabilmente stai già piegando la “realtà”, sarebbe un errore. Un data scientist è un ingegnere.

Fig. 1, 3 previsioni drasticamente diverse basate sugli stessi dati, basate su Makridakis [13, p. 19]. Immagine dell'autore.

Ingegneria della realtà

“Beh, se le regole del gioco impongono una strategia sbagliata, forse non dovremmo cercare di cambiare la strategia. Forse dovremmo cercare di cambiare il gioco.”

Questa citazione proviene dal libro “Algoritmi da seguire” [14, p. 240]. In un capitolo sulla teoria dei giochi, gli autori parlano dell’asta di Vickrey [15]. L’asta di Vickrey è un’asta del cosiddetto secondo prezzo, in cui il vincitore paga l’importo dell’offerta del secondo classificato. Nell’asta di Vickrey, la strategia dominante per ciascun giocatore è fare un’offerta che corrisponda al valore che lui/lei considera che l’oggetto valga, invece di bluffare per far pagare all’altro una cifra elevata. L’asta di Vickrey è in questo senso un esempio di come si può cambiare il comportamento per essere fedeli a un modello preferito.

Nella pratica, ci sono molti altri “modelli preferiti”. Una caratteristica comune di un modello è, ad esempio, uno con poca casualità. Che sia nella produzione e nella logistica sotto il nome di “six sigma”, o nell’esperienza senza sforzo del servizio clienti [16]. Se il modello è in grado di gestire la casualità, è più facile analizzarlo e prendere decisioni basate su di esso. È qui che il background probalistico del data scientist diventa importante. Si può ridurre la casualità spiegando parte di essa tramite un modello statistico, utilizzare tecniche come la simulazione per determinare quanto bene un modello gestisce l’incertezza, o evidenziare che forse i proprietari di aziende si concentrano troppo sulle prestazioni volatili giorno per giorno e non vedono i modelli a lungo termine più stabili. Come mostra l’esempio di Lee sul transistor e i successivi livelli di astrazione, ridurre la casualità è incredibilmente importante per costruire livelli successivi di astrazione. Quando programmo in Python, non devo pensare a come esattamente il programma viene eseguito sulla mia macchina, e prendo per scontato che il programma forse non sia così veloce come potrebbe essere, se fosse programmato in un linguaggio più vicino al codice macchina.

Ma ridurre la casualità è anche rischioso. Molte crisi si verificano quando viene violata un’assunzione a un livello inferiore di astrazione. Prendiamo ad esempio le catene di approvvigionamento logistiche. Nell’ultimo decennio, la filosofia del sei sigma è stata una strategia prominente per la gestione di parti delle catene di approvvigionamento. Ma le catene di approvvigionamento più lunghe sono destinate a indurre una maggiore casualità. Piccole interruzioni possono essere ammortizzate utilizzando buffer, ma questo non vale per le grandi interruzioni, che sono state frequenti dalla crisi del Corona [17]. Di conseguenza, la ricerca ha sempre più cercato modi per prepararsi alle interruzioni, anziché cercare di ridurle [18]. Anche qui, il data scientist ha un ruolo ingegneristico. Spiegherà la varianza osservata come qualcosa da ridurre, o dovrebbe essere accettata come qualcosa di inevitabile? Spiegare una cosa piuttosto che l’altra, proprio come nell’esempio di previsione, porterà a strategie diverse: un processo stretto contro un processo robusto.

Il concetto che i data scientist siano ingegneri ritorna anche nella frequente discussione etica sui dati e sull’IA. Sebbene spingere i clienti a comprare/cliccare/spendere di più possa essere innocuo in molte occasioni, a volte lo è meno. Un esempio scioccante è descritto da Schüll [19]. Schüll ha studiato l’addictiveness delle slot machine a Las Vegas, incluso come l’ingegneria della slot machine contribuisce all’addiction, e molti principi si applicano ad altri dispositivi digitali come i telefoni cellulari. In un esempio bizzarro, qualcuno in un casinò ha un attacco di cuore. Mentre i paramedici cercano di salvarla, gli altri visitatori del casinò continuano semplicemente a giocare alle loro slot machine. Le slot machine sono state ottimizzate in modo tale che gli utenti rimangano nel loro “flusso”, anche quando il loro vicino cade morto a terra.

Certo, si può discutere se incolpare l’ingegnere che ha eseguito i test A/B che ha reso le slot machine così addictive, ma spero che finora abbia convinto il lettore che credo che ciò sia almeno in parte il caso. Sul lato positivo, sebbene le slot machine siano ancora addictive come sempre, l’attenzione dei media sugli algoritmi che vanno storti ha aumentato l’attenzione su cose come l’equità degli algoritmi [20]. Gli algoritmi pubblici importanti (come i motori di ricerca) sono più spesso sottoposti a scrutinio attraverso audit degli algoritmi [21]. Sotto il motto “non puoi gestire ciò che non puoi misurare”, se includi misure di equità nella tua analisi, il decision maker dovrà spiegare perché potrebbe aver ignorato quella misura. Se nessuna misura di equità viene segnalata, il decision maker potrebbe non rendersi conto che c’è un problema di equità in primo luogo.

Monte Chaberton - Claviere, Piemonte. Immagine dell'autore.

Conclusioni

L’enfasi sull’analisi è ovunque nelle descrizioni della scienza dei dati e dell’analisi, ma dovrebbe essere invece l’invenzione? Nella curva di maturità analitica di Gartner, si inizia solo con “prescriptive analytics” una volta completate le fasi di analisi descrittiva e predittiva (che semplicemente analizzano fenomeni). Tuttavia, in molte applicazioni, si può trovare che il comportamento (il fenomeno effettivo) è stato adattato a un modello (ricavi, equità, ecc.), non viceversa. Sebbene alcuni sistemi e tecnologie siano più user-friendly di altri, non si può fare a meno di riconoscere che, in una parte considerevole, le persone si sono adattate alla tecnologia. Sì, trovo Google un motore di ricerca user-friendly, ma ho imparato anche come cercare le parole chiave giuste che mi possano portare alla pagina web giusta. Ho imparato a guidare e a guardarmi attorno prima di attraversare la strada, quest’ultima ha contribuito tanto al trasporto efficiente quanto l’invenzione dell’automobile stessa.

Certo, ci sono situazioni in cui come data scientist si sta solo analizzando il fenomeno. Dove si sta solo interpretando la parte di Poirot, indagando sull’omicidio. Ma sapere che il comportamento spesso segue la tecnologia, piuttosto che il contrario, è utile per un data scientist. Invece di analizzare fenomeni effettivi, si può pensare a come potrebbe essere un fenomeno preferito e progettare modelli di conseguenza.

Riferimenti

[1] Lee, Edward Ashford, Plato and the Nerd: The Creative Partnership of Humans and Technology (2017), MIT Press

[2] Hayashi, Chikio, What is data science? Fundamental concepts and a heuristic example. Data science, classification, and related methods (1998), Springer, Tokyo, 40–51. Via Wikipedia: https://en.wikipedia.org/wiki/Data_science. Le parti tra parentesi quadre provengono dalla pagina di Wikipedia, il resto è citato dal paper originale. Ultimo accesso: 02–04–2023.

[3] BBC, La storia dell’orologeria (2022), You’re dead to me, BBC, Recuperato da: https://www.bbc.co.uk/programmes/p07mdbhg, ultimo accesso 02-04-2023.

[4] Stigler, Stephen M. La storia delle statistiche: La misurazione dell’incertezza prima del 1900. Harvard University Press, 1986.

[5] Croll, Alistair, e Benjamin Yoskovitz. Lean analytics: Utilizzare i dati per costruire una startup migliore più velocemente. O’Reilly Media, Inc., 2013.

[6] Reis, Eric. The lean startup. New York: Crown Business 27 (2011): 2016-2020.

[7] Ismail, Salim. Organizzazioni esponenziali: Perché le nuove organizzazioni sono dieci volte migliori, più veloci e più economiche delle tue (e cosa fare al riguardo). Diversion Books, 2014.

[8]: ScaleUpNation. The Art of Scaling. 2020. https://scaleupnation.com/wp-content/uploads/2021/02/The-Art-of-Scaling-3.1.pdf. Ultimo accesso: 02-04-2023.

[9] VOC. Recuperato da: https://en.wikipedia.org/wiki/Dutch_East_India_Company ultimo accesso: 02-04-2023.

[10] Searle, J. Mente, marchio e scienza. Harvard University Press, Cambridge, MA.

[11] Graeber, David. Debt: I primi 5000 anni. Penguin UK, 2012.

[12] Chang, E. Brotopia. Penguin, 2019.

[13] Makridakis, Spyros. Previsione, pianificazione e strategie per il XXI secolo. Free Press, 1990.

[14] Christian, Brian, e Tom Griffiths. Algoritmi da seguire: La scienza informatica delle decisioni umane. Macmillan, 2016.

[15] Asta di Vickrey. Recuperato da: https://en.wikipedia.org/wiki/Vickrey_auction, ultimo accesso: 02-04-2023.

[16] Dixon, Matthew, Nick Toman Rick DeLisi e N. Toman. L’esperienza senza sforzo. Penguin Random House, 2020.

[17] Servizio di Ricerca del Congresso. Sconvolgimenti nell’offerta e nell’economia degli Stati Uniti. 2022. Recuperato da: https://crsreports.congress.gov/product/pdf/IN/IN11926, ultimo accesso: 02-04-2023.

[18] Spieske, Alexander, e Hendrik Birkel. Migliorare la resilienza della catena di approvvigionamento attraverso l’industria 4.0: Una revisione sistematica della letteratura nell’era della pandemia di COVID-19. Computers & Industrial Engineering 158, 2021.

[19] Schüll, Natasha Dow. L’Addiction del Design. Princeton University Press, 2012.

[20] Pitoura, Evaggelia, Kostas Stefanidis e Georgia Koutrika. Equità nei ranking e nelle raccomandazioni: una panoramica. The VLDB Journal, pagine 1-28. Springer, 2022.

[21] Bandy, Jack. Comportamento problematico delle macchine: Una revisione sistematica della letteratura delle verifiche degli algoritmi. Proceedings of the acm on human-computer interaction 5, CSCW1, pagine: 1-34. ACM 2021.

[22] Pinker, Steven. Gli angeli migliori della nostra natura: Il declino della violenza nella storia e le sue cause. Penguin uk, 2011.