Inferenza causale quasi-esperimenti

Quasi-experiments and causal inference

Il tuo PM ha dimenticato di eseguire un test A/B… e adesso?

Foto di Isaac Smith su Unsplash

Questo articolo è la Parte 1 di n (a seconda di quanto finirò per divagare) di una serie di articoli sull’utilizzo di quasi-esperimenti per l’inferenza causale. In breve, la Parte 1 spiegherà il perché e il come dei quasi-esperimenti, nonché le sfumature coinvolte nell’applicare approcci come il PSM. Nella Parte 2, parlerò di più delle limitazioni dei quasi-esperimenti e di ciò di cui dovresti essere cauto quando prendi decisioni basate su di essi. Proporrò anche un framework per la stima dell’impatto eterogeneo che può aiutare a superare il bias di estrapolazione. Nella Parte 3… ancora non sono sicuro.

Potresti anche aver letto altri articoli che spiegano i Quasi-Esperimenti, ma cercherò comunque di spiegarlo a modo mio. Leggilo.

Perché l’inferenza causale?

Il costo dello sviluppo e del lancio di prodotti e funzionalità è giustificato principalmente dall’impatto positivo sul consumatore. Non sorprende quindi sentire i product manager fare ogni sorta di affermazioni, come ad esempio “Siamo entusiasti di annunciare che il nostro ultimo lancio di funzionalità ha portato a un impressionante aumento del 12% dei ricavi!”

Sembra favoloso e, ad essere sinceri, la maggior parte dei dirigenti senior è più che felice di accettare tali affermazioni come verità. Il mio obiettivo oggi è convincerti a guardare più da vicino i metodi di inferenza causale che (dovrebbero) sottendere a queste affermazioni. Con una migliore comprensione dell’inferenza causale, sarai in una posizione migliore per valutare l’impatto che prodotti e funzionalità portano per i tuoi utenti e per la tua azienda.

Vediamo cosa dice ChatGPT riguardo al motivo per cui l’inferenza causale è necessaria per i prodotti:

L’inferenza causale dota i team di prodotto della capacità di andare oltre la semplice osservazione delle correlazioni nei dati e di stabilire una comprensione più profonda dei meccanismi causali che guidano le prestazioni del prodotto. (già più concisamente espresso di quanto potrei produrre)

Un aspetto davvero degno di menzione qui è l’idea di correlazione e causalità.

La correlazione non implica causalità. (non alzare gli occhi al cielo ancora)

Siamo onesti, molti di noi lo dicono e pensano di sapere cosa significa. Quando qualcuno ci chiede…