Oltre la precisione e il richiamo Un approfondimento approfondito sull’indice di Tversky

Un'analisi dettagliata dell'indice di Tversky oltre la precisione e il richiamo

Esplorare una metrica di classificazione alternativa

Foto di Ricardo Arce su Unsplash

Nel mondo della data science, le metriche sono la bussola che guida i nostri modelli al successo. Mentre molti conoscono le classiche misure di precisione e richiamo, esistono in realtà una vasta gamma di altre opzioni che vale la pena esplorare.

In questo articolo, approfondiremo l’indice di Tversky. Questa metrica, una generalizzazione dei coefficienti di Dice e Jaccard, può essere estremamente utile quando si cerca di bilanciare precisione e richiamo tra loro. Quando implementata come funzione di perdita per le reti neurali, può essere un potente modo per gestire gli squilibri di classe.

Un veloce ripasso su precisione e richiamo

Immagina di essere un detective incaricato di catturare criminali nella tua città. In realtà, ci sono 10 criminali che si aggirano per le strade.

Il primo mese, porti in custodia 8 sospetti che ritieni essere criminali. Solo 4 di loro si rivelano colpevoli, mentre gli altri 4 sono innocenti.

Se fossi un modello di machine learning, verresti valutato in base alla tua precisione e al tuo richiamo.

Precisione chiede: “di tutti quelli che hai catturato, quanti erano criminali?”

Richiamo chiede: “di tutti i criminali in città, quanti hai catturato?”

Precisione è una metrica che cattura quanto precise sono le tue previsioni, senza contare quante vere positività ti sfuggono (falsi negativi). Richiamo misura quanti dei veri positivi catturi, indipendentemente da quanti falsi positivi ottieni.

Come valuterebbe le tue abilità da detective rispetto a queste metriche?

  • precisione = 4 / (4 + 4) = 0.5
  • richiamo = 4 / (4 + 6) = 0.4

Bilanciare precisione e richiamo: la metrica F1

In un mondo ideale, il tuo classificatore ha sia una precisione elevata che un richiamo elevato. Come misura di quanto bene il tuo classificatore sta performando su entrambi, la statistica F1 misura la media armonica tra i due:

Questa metrica è talvolta chiamata anche coefficiente di similarità di Dice (DSC).

Misurare la similarità in un altro modo…