Scegliere la strada giusta modelli di churn vs modelli di uplift
Choosing the right path churn models vs uplift models.
Dobbiamo davvero avere modelli di churn? Forse il modello di aumento può darci una risposta più completa?
Immaginiamo di lavorare in un e-commerce e il product manager ci chiede di costruire il modello di churn.
Ma cosa ci chiede veramente?
Cosa può darci il modello di churn?
Bene, si tratta di capire la probabilità che un cliente specifico ci lasci. I nostri passi successivi sono guidati da euristiche:
- Creare un Vantaggio Informativo con l’Accesso Conversazionale ai Dati
- Attenzione ai dati non affidabili nella valutazione del modello uno studio di caso sulla selezione della prompt LLM con Flan-T5.
- Come identificare i dati critici per la tua attività
Se forniamo uno sconto ai clienti che sono inclini a churn, allora resteranno.
Tuttavia, il nostro obiettivo è un po’ diverso. Immaginiamo di poter fare solo due cose: dare un premio o non darglielo, nel nostro caso sarà uno sconto. Ci sono 4 possibili risultati.
- Cessione di margine. Abbiamo offerto uno sconto, l’utente lo ha usato e ha acquistato un prodotto, ma l’utente avrebbe comunque effettuato l’acquisto anche senza lo sconto. È un risultato negativo perché abbiamo ceduto margine.
- Costi di trattamento. Abbiamo offerto uno sconto, ma gli utenti non lo hanno utilizzato e non hanno effettuato alcun acquisto. Anche questo è considerato un risultato negativo perché incombiamo in costi per i trattamenti come l’invio di messaggi SMS, specialmente quando si tratta di una grande base utenti.
- Successo. Abbiamo offerto uno sconto, l’utente lo ha utilizzato e ha effettuato un acquisto solo grazie all’offerta. Questo è il risultato desiderato a cui miriamo.
- Cliente perso. Abbiamo offerto uno sconto, ma l’utente alla fine ci ha lasciati. Ad esempio, nel caso di un servizio di abbonamento, l’utente ha ricevuto una notifica con uno sconto, solo per rendersi conto che aveva pagato l’abbonamento per gli ultimi 6 mesi e ha deciso di cancellarlo. Questo è il risultato più negativo che possiamo incontrare.
Il nostro vero obiettivo non è stimare la probabilità di churn, ma miriamo ad applicare il trattamento più appropriato a ciascun utente.
Come iniziare a raggiungere questo obiettivo?
Per cominciare, è cruciale condurre un semplice test AB. Questo comporta fornire uno sconto a un gruppo, mantenendo un gruppo di controllo senza alcuno sconto.
Dopo l’esperimento abbiamo tre approcci primari.
Approccio a due modelli
Il primo approccio prevede la costruzione di due modelli separati: uno per il gruppo di controllo (senza alcuno sconto) e uno per il gruppo di trattamento (con uno sconto). Per costruire questi modelli separati possiamo scegliere qualsiasi tipo di modello di apprendimento automatico.
Facendo passare ciascun cliente attraverso entrambi i modelli, possiamo calcolare l’aumento come la differenza tra i risultati previsti.
Pro:
- È facile da implementare.
Contro:
- Non prevede direttamente l’aumento. Stimiamo la probabilità dell’azione degli utenti (acquisto).
- Il setup a due modelli introduce la modellizzazione a doppio errore, poiché entrambi i modelli hanno i propri errori, portando a errori complessivi più grandi.
Trasformazione dell’obiettivo
Il secondo approccio si basa sulla trasformazione della variabile obiettivo stessa. Creando un nuovo obiettivo che rappresenta l’aumento, possiamo calcolare il risultato desiderato direttamente.
Introduciamo una nuova variabile obiettivo utilizzando la seguente formula:
Qui, Y rappresenta la variabile obiettivo originale e W indica se è stato applicato o meno il trattamento obiettivo. In altre parole, Y rappresenta se lo sconto è stato dato o meno e W indica se è stato effettuato un acquisto o meno.
La variabile trasformata Z assume il valore di 1 in due casi:
- L’utente appartiene al gruppo target (W = 1) e Y = 1 (lo sconto è stato dato all’utente e ha effettuato l’acquisto).
- L’utente appartiene al gruppo di controllo (W = 0) e Y = 0 (lo sconto non è stato dato all’utente e l’utente non ha effettuato l’acquisto).
Poi dobbiamo solo addestrare il modello (ad esempio la regressione logistica) con un nuovo target.
Per calcolare l’uplift, possiamo usare la seguente formula:
Pro:
- È ancora facile da implementare.
- È più robusto e stabile rispetto al primo approccio perché abbiamo solo un modello.
Contro:
- Non predice direttamente l’uplift. Prevediamo la variabile trasformata.
Modelli basati su alberi
Il terzo approccio si basa sui modelli basati su alberi.
L’obiettivo è identificare le sottopopolazioni all’interno di un dataset che rispondono maggiormente al trattamento, consentendo così interventi mirati per massimizzare l’impatto.
L’albero decisionale di esempio per scopi di uplift è rappresentato nell’immagine evidenziata sopra. Il colore rosso indica i valori di uplift. Osservando l’immagine, possiamo concludere che la differenza complessiva di uplift è 0,0127 (basata su una metrica casuale). Tuttavia, scendendo nell’albero, osserviamo alcune sottopopolazioni che mostrano differenze di uplift più elevate.
Queste sottopopolazioni diventano il nostro obiettivo poiché hanno il potenziale per massimizzare i benefici.
Come costruire questo albero ?
Ci sono numerosi tutorial disponibili sulla costruzione di alberi decisionali, ma qui esporrò l’approccio di base.
- Selezionare le caratteristiche e identificare la variabile target, che, nel nostro caso, è l’uplift.
- Scegliere un criterio di suddivisione per determinare come sono divisi i nodi.
- Costruire l’albero ripetendo ricorsivamente il processo di suddivisione fino a quando non si raggiunge un criterio di arresto.
Vale la pena notare che esistono tre criteri di suddivisione comunemente utilizzati per la costruzione degli alberi di uplift, elencati di seguito in ordine di popolarità:
- Divergenza KL
- Chi-Quadrato
- Distanza Euclidea
Pro:
- Uno dei metodi più accurati
- Avere un albero decisionale, quindi possiamo costruire la foresta di alberi e diversi insiemi che aumentano l’accuratezza e riducono la varianza.
Contro:
- È un metodo di albero decisionale, quindi l’algoritmo tende a sovrastimare le variabili categoriche con molti livelli. Per risolvere il problema possiamo utilizzare l’imputazione della media.
Conclusione
Ora sappiamo che affrontare il churn dei clienti richiede strategie che vanno oltre la semplice stima della probabilità di churn. L’obiettivo finale è applicare il trattamento più appropriato a ciascun utente e fornire un impatto commerciale invece della probabilità di churn.
Il modelling di uplift, che può essere applicato a vari problemi aziendali oltre al churn, offre una soluzione potente con un’immediata impatto commerciale.
Ci sono ancora molte domande intriganti sul modelling di uplift, come gestire i trattamenti multipli, stimare diversi modelli di uplift e utilizzare i banditi multi-armati per la produzione, ma lascerò le risposte per il prossimo post.
