Errore di calibrazione atteso (ECE) – una spiegazione visuale passo passo

ECE - spiegazione visuale passo passo

Con un esempio semplice e codice Python

immagine dell'autore

Nelle attività di classificazione, i modelli di apprendimento automatico producono probabilità stimate o chiamate anche confidenze (vedi immagine sopra). Queste ci indicano quanto sicuro è un modello nelle sue previsioni di etichette. Tuttavia, per la maggior parte dei modelli, queste confidenze non corrispondono alle vere frequenze degli eventi che sta prevedendo. Devono essere calibrate!

La calibrazione del modello mira ad allineare le previsioni di un modello alle vere probabilità, garantendo così che le previsioni di un modello siano affidabili ed accurate (vedi questo post del blog per maggiori dettagli sull’importanza della calibrazione del modello).

Quindi, la calibrazione del modello è importante, ma come possiamo misurarla? Ci sono alcune opzioni, ma lo scopo e l’obiettivo di questo articolo è quello di spiegare e mostrare solo una misura semplice ma relativamente sufficiente per valutare la calibrazione del modello: l’Errore di Calibrazione Atteso (ECE). Calcola l’errore medio ponderato delle “probabilità” stimate, producendo così un singolo valore che possiamo utilizzare per confrontare diversi modelli.

Esamineremo la formula dell’ECE come descritto nel paper: Sulla Calibrazione delle Reti Neurali Moderne. Per semplificarla, esamineremo un piccolo esempio con 9 punti dati e target binari. Successivamente, codificheremo anche questo semplice esempio in Python e, infine, vedremo come aggiungere qualche riga di codice per farlo funzionare anche per la classificazione multi-classe.

Definizione

L’ECE misura quanto bene le “probabilità” stimate di un modello corrispondono alle probabilità vere (osservate), prendendo una media ponderata della differenza assoluta tra accuratezza (acc) e confidenza (conf):

La misura coinvolge la suddivisione dei dati in M intervalli equidistanti. B viene utilizzato per rappresentare “intervalli” e m per il numero dell’intervallo. Ritorneremo alle singole parti di questa formula come B, |Bₘ|, acc(Bₘ) e conf(Bₘ) in modo più dettagliato in seguito. Iniziamo con il nostro esempio che ci aiuterà a comprendere la formula passo dopo passo.

Esempio

Abbiamo 9 campioni con probabilità stimate o chiamate anche ‘confidenze’ (pᵢ) per prevedere l’etichetta positiva 1. Se…