Progettazione sperimentale end-to-end utilizzando il test A/B

Progettazione sperimentale end-to-end con l'utilizzo del test A/B

Una guida basata sui dati per prendere decisioni e progettare prodotti

Introduzione

Se ti sei mai chiesto cosa sia il design sperimentale e il testing A/B, sei capitato nel posto giusto. Questo articolo è la mappa che ti serve per avviare il tuo primo esperimento, partendo dalla definizione del problema fino alla decisione di lancio tanto importante.

Immagina di trovarti in un incrocio affollato, con due svolte diverse tra cui scegliere. Una è la strada che di solito prendi (percorso A), mentre l’altra è una strada nuova e sconosciuta (percorso B). Un amico ti dice che il percorso B è una migliore via per arrivare al lavoro. Come prendi la decisione su quale percorso prendere? Questo è esattamente il problema che i data scientist cercano di risolvere utilizzando i test A/B. Tuttavia, anziché percorsi, dobbiamo scegliere tra due versioni di un prodotto e, anziché un amico, abbiamo i product manager.

In questo articolo, ti guiderò attraverso 8 passi principali necessari per progettare e condurre un test A/B di successo:

• Pratiche comuni e criticità dell’ereditarietà in Python problema del diamante, mixin e altri
• Settimana 1 Programmazione in Python e Fondamenti della Scienza dei Dati
• Ricercatori dell’Università di Michigan aprono nuovi campi nella teoria della mente dell’IA svelando una tassonomia e rigorosi protocolli per la valutazione

• Definizione del problema

Qui ti incontri con gli stakeholder, ad esempio i product manager (PM), per definire l’oggetto dell’esperimento. Immagina che il PM di OrderNow (la nostra immaginaria azienda di ride-hailing) che monitora un pannello di controllo del percorso degli utenti, abbia notato che circa il 40% dei nostri utenti apre l’app, inserisce una destinazione, ma non prenota mai il viaggio. Ora il PM crede che se cambiamo il colore del pulsante “Prenota ora” da rosso a verde, possiamo convincere più utenti a completare il loro ordine.

• Definizione delle metriche

Dopo aver definito il problema, dobbiamo definire le metriche che tracceremo per l’esperimento. Un buon passo per definire la tua metrica chiave è capire l’obiettivo aziendale. Nel nostro caso, l’obiettivo aziendale è vedere un aumento del numero di utenti che completano il processo di prenotazione del viaggio. Ci sono tre cose da considerare nella scelta di una metrica.

• L’azione che si desidera misurare: Nel nostro caso, si tratta delle prenotazioni di viaggi.
• L’unità di analisi: ad esempio giornaliera, settimanale, mensile, ecc. Per il nostro esperimento, useremmo settimanale.
• La funzione statistica: come conteggio, media, massimo, ecc. Useremmo settimanale per questo esempio. Quindi la nostra metrica potrebbe essere il numero totale di viaggi settimanali o…