Uplift Modeling – Guida del Data Scientist per ottimizzare una campagna di rinnovo della carta di credito

Uplift Modeling - Data Scientist's Guide to Optimizing Credit Card Renewal Campaign

Applicazione del machine learning causale per ridurre il pubblico target della campagna

Come aspirante Data Scientist, la mia formazione accademica mi ha insegnato a considerare l’accuratezza come segno di un progetto di successo. L’industria, d’altra parte, si preoccupa di fare e risparmiare denaro nel breve e lungo termine. Questo articolo è una lezione sul ROI – Return On Investment – il Santo Graal delle azioni aziendali.

Una grande parte delle campagne promozionali si rivolge a segmenti di clienti anziché all’individuo direttamente. Esempi di queste sono Ricerca Pagata, Display Ads, Paid Social e così via. Le campagne Direct-To-Consumer (D2C), d’altra parte, sono indirizzate direttamente ai singoli clienti. Queste possono essere Direct Mail, Email, SMS o persino notifiche push. Le aziende nel settore bancario e fintech sono in grado di svolgere grandi campagne D2C perché tutti hanno l’app. Ma oggigiorno, queste aziende cercano di essere efficienti nelle loro spese promozionali (come?).

Comprensione del Problema

Con questa premessa, parliamo di un emittente di carte di credito, Flex, che offre il primo anno gratuito, ovvero senza tassa annuale. Dal secondo anno di utilizzo, addebita la tassa annuale completa. Negli ultimi 3 anni, hanno osservato un basso tasso di ritenzione annuale, con solo il 30% dei titolari che continuano ad utilizzare la carta dopo il primo anno. Flex decide di sperimentare offerte di rinnovo per determinati clienti al fine di continuare a crescere la propria base clienti. Il problema è che questa strategia può essere costosa se non siamo attenti.

Come Data Scientist, ci viene chiesto di preparare il gruppo più piccolo possibile di clienti target per estendere queste offerte dalla lista di 5 milioni di clienti che devono rinnovare.

• I modelli di linguaggio profondo stanno migliorando sempre di più imparando a prevedere la parola successiva dal suo contesto è davvero ciò che fa il cervello umano?
• Come emerge una AI-tocrazia
• Incontra DeepOnto un pacchetto Python per l’ingegneria dell’ontologia con il Deep Learning

Breve spiegazione del modello di incremento

Per molti anni i data scientist si sono dedicati alla costruzione di modelli di risposta per prevedere la probabilità che un cliente risponda a una campagna diretta. Per le nuove aziende, questo può funzionare, ma man mano che i marchi maturano, le loro domande cambiano.

I problemi che non vengono risolti dai modelli di risposta sono:

1. Di quanto è più probabile che un cliente risponda se esposto a una campagna?
2. Come possiamo dare priorità ai clienti a rischio di churn? Chi sono?
3. Ci sono clienti che potrebbero reagire negativamente ai messaggi promozionali? Chi sono?
4. Come possiamo ridurre i clienti target nella campagna senza influire sulle entrate incrementali?

Entra in gioco il modello di incremento. Si tratta di una tecnica di machine learning che prevede l’impatto incrementale di un trattamento sul comportamento di acquisto di un individuo, anziché solo la probabilità del comportamento. In questo modo, è possibile individuare i clienti più inclini ad essere influenzati dalla tua campagna e evitare di sprecare risorse su quelli che non lo sono. Ciò aumenta il rendimento della campagna e la soddisfazione del cliente.

Potresti aver già visto questa classificazione dei clienti in precedenza. I “Sure things” hanno una forte affinità per il tuo marchio o prodotto e comunque effettuerebbero un acquisto. I “Lost causes” non hanno bisogno del tuo prodotto. La campagna promozionale difficilmente influenzerà queste due categorie di clienti. I “Sleeping dogs” sono coloro che avrebbero acquistato se non fossero stati disturbati dalla promozione. Sono i “Persuadables” che rappresentano la più grande opportunità: acquisterebbero SOLO se vengono pubblicizzati. Aumentano il ROI della campagna.

In questo compito, dobbiamo identificare prima i “Persuadables”. Secondo, trovare l’offerta più adatta per ciascuno di loro.

Preparazione del dataset dei clienti delle carte di credito

Abbiamo un dataset di 5 milioni di clienti con una durata di 10 mesi, il che significa che hanno 2 mesi per rinnovare. Questi sono dati simulati dei clienti che puoi creare tu stesso con questo codice Python.

Dobbiamo fare un po’ di EDA qui e ho utilizzato lo strumento ydata-profiling (precedentemente chiamato Pandas Profiling) per generare un rapporto interattivo.

Abbiamo 20 variabili dei clienti, sia qualitative (come età, fascia di reddito) che quantitative (transazioni, spesa nelle categorie). Alcune delle variabili sono altamente correlate.

Il Pilota – Uno sguardo più approfondito alla precedente campagna di rinnovo

Flex ha già condotto una campagna pilota su 50.000 clienti con un messaggio simile a quello di seguito.

Siamo lieti di informarti che la tua carta di credito è idonea per il rinnovo con un’offerta speciale. Per un periodo limitato, puoi rinnovare la tua carta di credito con una quota annuale ridotta di soli $49, risparmiando fino al 50% rispetto alla quota regolare. Questa offerta è esclusiva per i nostri clienti fedeli come te, che utilizzano la nostra carta di credito da più di un anno.

C’erano 3 offerte in base a quanto i clienti pagano nel secondo anno – 30%, 50% o 70%. Dalla campagna, è stato dedotto che i segmenti trattati avevano un tasso di ritenzione del 55%, che è un aumento del 25% (55 meno 30) rispetto al gruppo di controllo che ha pagato la quota annuale completa. Questo viene chiamato Effetto Medio del Trattamento (ATE).

Abbiamo i risultati della campagna e questi dati possono essere utilizzati per ottimizzare la prossima campagna. Per fare ciò, dobbiamo calcolare l’Effetto Medio del Trattamento Condizionale (CATE) per ogni cliente, che è un nome complicato per l’effetto a livello di cliente.

Nota – Una campagna pilota è un test su piccola scala di una strategia promozionale o di marketing prima di lanciarla su larga scala. Consente ai marketer di valutare l’efficacia, la fattibilità e i costi della strategia e di identificare e risolvere eventuali problemi o sfide. Una campagna pilota può aiutare ad ottimizzare il piano di marketing, aumentare il rendimento dell’investimento e ridurre i rischi di fallimento.

Propensity Score Matching – Ottenere un gruppo di controllo rappresentativo

Il propensity score matching (PSM) mira a abbinare i clienti che hanno probabilità simili di ricevere il trattamento in base alle loro caratteristiche osservate. Il PSM può aiutare a ridurre il bias causato dalle variabili di confondimento negli studi osservazionali, in cui l’assegnazione casuale del trattamento non è possibile. Prevede di stimare i propensity score per ogni cliente, che sono le probabilità condizionali di essere trattati date le covariate, e quindi abbinare i clienti trattati e non trattati con punteggi simili.

Dato che abbiamo 3 diversi trattamenti nella campagna pilota, utilizzerò il PSM per approssimare un gruppo di controllo identico per ogni gruppo di trattamento. Ad esempio, un insieme di clienti nel gruppo di controllo (che ha pagato la quota annuale completa) che sono simili ai clienti che hanno ricevuto il trattamento Annual Fee x 30%. E allo stesso modo, per i gruppi Annual Fee x 50% e Annual Fee x 70%. Questo eliminerebbe eventuali variabili di confondimento in una configurazione sperimentale e ci consentirebbe di identificare il vero aumento per ogni gruppo di trattamento.

Tipicamente, i propensity score vengono calcolati utilizzando modelli di regressione logistica semplici. Consiglierei anche pacchetti come psmpy che lo fanno bene e gestiscono anche lo sbilanciamento delle classi per voi.

Selezione delle caratteristiche – Fattori che portano ad un aumento del rendimento

Dopo il propensity score matching, abbiamo 3 coppie di dataset – (Control₃₀, Treatment₃₀) (Control₅₀, Treatment₅₀) (Control₇₀, Treatment₇₀)

Ho utilizzato queste coppie per creare 3 modelli, uno per ogni gruppo di trattamento, utilizzando l’algoritmo X-learner nella libreria CausalML. I valori SHAP possono essere utilizzati per verificare quali caratteristiche sono correlate all’aumento del rendimento.

Valutazione dei modelli X-learner

Costruiamo 3 curve Qini, in cui vediamo l’incremento cumulativo dall’aggiunta di clienti nel target partendo dal CATE più alto a quello più basso. È simile a una curva ROC nell’apprendimento automatico tradizionale. La linea inferiore è l’incremento dall’assegnazione casuale al trattamento/controllo. Qui riportiamo l’Area Sotto la Curva di Incremento o il Punteggio Qini – più alto è meglio.

Come previsto, il trattamento dell’Annual Fee x 30% ha il punteggio Qini più alto. Ora i modelli sono pronti e possiamo applicarli a nuovi dati.

Previsione dell’incremento fuori dal campione – Progettazione della prossima campagna

<p+Continuiamo con i 5 milioni di clienti che devono rinnovare. Abbiamo l'opzione di offrire loro l'Annual Fee x 30%, l'Annual Fee x 50% o l'Annual Fee x 70%. Oppure non offriamo loro niente, solo l'intera Annual Fee. Con i tre X-learner, prevedo il CATE da ciascuno di essi. Il trattamento con il CATE massimo sarà il miglior trattamento. Se tutti i trattamenti hanno un CATE simile (entro +-10% l’uno dell’altro), allora scegliamo il trattamento dell’Annual Fee x 70% (ovviamente, vogliamo un maggior reddito). Se il CATE massimo è negativo, allora non facciamo marketing a questo cliente (sono un cane addormentato).

Ecco i nostri migliori assegnamenti. Circa mezzo milione di clienti non sono raccomandati per il trattamento.

In questo tipo di rappresentazione (vedi sotto) suddividiamo i clienti in decili in base al CATE. Il decile 1 ha il CATE più alto e il decile 10 ha il più basso. Se diamo a tutti i clienti un singolo tipo di trattamento, vediamo i decili inferiori scendere sotto lo 0 più rapidamente. Pertanto, aderiremo al miglior trattamento per la nostra prossima campagna.

La curva Qini ci dice che ci aspettiamo un bel po’ di incremento da questa campagna. Non c’è un punto di taglio o un punto di inflessione chiaro nella curva per separare i Persuadables.

Risposta incrementale – A quali clienti dovremmo mirare?

L’incremento medio nella prossima campagna si prevede essere dello 0,052. I decili che hanno un incremento superiore alla media sono i clienti target. Ma, per essere frugali in questa campagna, prenderemo solo il 20% superiore e li chiameremo Persuadables. I decili con incremento negativo sono i Sleeping dogs. Gli altri sono o Sure things o Lost causes.

È più facile visualizzare i Persuadables in questo grafico del miglior trattamento rivisitato. In questo caso, sono i primi 5 decili.

Non possiamo fornire un aumento al team aziendale, quindi convertiamo questo in Incremental ROI e scala dei ricavi. Per il decile d, l’Incremental ROI è

Il ricavo è l’importo totale delle tasse di rinnovo del decile. Il costo della campagna è la parte delle tasse di rinnovo che Flex sostiene. Vediamo che è redditizio offrire sconti solo ai primi 7 decili o al 70% superiore dei clienti.

I primi 20%, o Persuasibili, si prevede che porteranno l’80% del ricavo totale dal rinnovo di questi 5 milioni di clienti. Questo è spesso osservato nel mondo degli affari e viene chiamato Principio di Pareto. Tali grafici a barre possono essere costruiti anche per il CLV (Valore a Vita del Cliente) per conoscere il ROI a lungo termine della campagna.

Quindi per rispondere alla domanda – a chi ci rivolgiamo? Sono i Persuadibili, circa 1 milione di clienti. Come personalizziamo la loro offerta? Utilizziamo il miglior trattamento con l’effetto medio condizionato più alto.

Conclusioni

In questo modo, il modello di aumento identifica i clienti che porteranno il maggiore Incremental ROI alla campagna e si rivolge a loro di conseguenza. In questo modo, il modello di aumento ottimizza il ritorno sugli investimenti della campagna e riduce la spesa inutile.

Spero che tu abbia trovato utile ed informativo questo post, e che tu voglia provare il modello di aumento nella tua prossima campagna promozionale o di marketing.

Il modello di aumento viene tipicamente applicato alle campagne D2C (Dirette al Consumatore) come Direct Mail, Email, SMS o Notifiche App. Se stai cercando di ottimizzare i media a pagamento, dai un’occhiata alla mia serie su Marketing Mix Modeling.

Grazie per la lettura! 😄