Comprendere in profondità i punteggi AUC qual è il punto?
Comprendere a fondo i punteggi AUC, qual è il punto?
Esplorazione di metriche alternative per approfondire le insight
Ciao!
Oggi, stiamo approfondendo una specifica metrica utilizzata per valutare le prestazioni del modello – il punteggio AUC. Ma prima di entrare nei dettagli, ti sei mai chiesto perché a volte sono necessari punteggi poco intuitivi per valutare le prestazioni dei nostri modelli?
Che il nostro modello gestisca una singola classe o più classi, l’obiettivo sottostante rimane costante: ottimizzare le previsioni accurate riducendo al minimo quelle errate. Per esplorare questo obiettivo di base, diamo un’occhiata alla matrice di confusione obbligatoria che comprende i Veri Positivi, i Falsi Positivi, i Veri Negativi e i Falsi Negativi.
Per qualsiasi problema di classificazione o previsione, ci sono solo due risultati: Vero o Falso.
Conseguentemente, ogni metrica progettata per valutare le prestazioni di un algoritmo di previsione o classificazione si basa su queste due misure. La metrica più semplice che raggiunge questo obiettivo è Accuracy.
Accuratezza
Nel contesto della classificazione e della previsione, l’accuratezza indica la proporzione di istanze predette correttamente tra il totale. È una misura molto semplice e intuitiva delle prestazioni predictive di un modello.
Tuttavia, l’accuratezza è veramente sufficiente?
Anche se l’accuratezza è una buona misura generale delle prestazioni di un modello, la sua inadeguatezza diventa evidente quando esaminiamo la tabella sottostante che faremo riferimento frequentemente in questo articolo. La tabella mostra le metriche di prestazione di quattro modelli, ognuno con risultati leggermente subottimali, ma tutti questi modelli presentano un’alta accuratezza. Ad esempio, nel primo e secondo caso, c’è un chiaro sbilanciamento verso una classe, con conseguenti classificazioni disastrose per la classe meno comune, ma l’accuratezza è del 90%, il che è piuttosto ingannevole.
