Le tue caratteristiche sono importanti? Non significa che siano buone

Tue caratteristiche importanti? Non necessariamente buone.

“L’importanza delle caratteristiche” non è sufficiente. È necessario anche considerare “il contributo degli errori” se si vuole sapere quali caratteristiche sono utili per il tuo modello.

[Immagine dell'autore]

“Importante” e “Buono” non sono sinonimi

Il concetto di “importanza delle caratteristiche” è ampiamente utilizzato nell’apprendimento automatico come tipo più basilare di spiegabilità del modello. Ad esempio, viene utilizzato nell’Eliminazione Ricorsiva delle Caratteristiche (RFE), per eliminare iterativamente la caratteristica meno importante del modello.

Tuttavia, c’è un malinteso a riguardo.

Il fatto che una caratteristica sia importante non implica che sia utile per il modello!

Infatti, quando diciamo che una caratteristica è importante, significa semplicemente che la caratteristica apporta un alto contributo alle previsioni effettuate dal modello. Ma dovremmo considerare che tale contributo potrebbe essere errato.

Prendiamo un semplice esempio: uno scienziato dei dati dimentica accidentalmente l’ID del cliente tra le caratteristiche del suo modello. Il modello utilizza l’ID del cliente come caratteristica altamente predittiva. Di conseguenza, questa caratteristica avrà un’alta importanza delle caratteristiche anche se in realtà peggiora il modello, perché non può funzionare bene su dati non visti.

Per rendere le cose più chiare, dovremo fare una distinzione tra due concetti:

  • Contributo alla previsione: quale parte delle previsioni è dovuta alla caratteristica; questo è equivalente all’importanza delle caratteristiche.
  • Contributo all’errore: quale parte degli errori di previsione è dovuta alla presenza della caratteristica nel modello.

In questo articolo, vedremo come calcolare queste quantità e come utilizzarle per ottenere informazioni preziose su un modello predittivo (e per migliorarlo).

Partendo da un Esempio Semplice

Supponiamo di aver costruito un modello per prevedere il reddito delle persone in base al loro lavoro, età e nazionalità. Ora utilizziamo il modello per fare previsioni su tre persone.

Di conseguenza, abbiamo la verità di riferimento, la previsione del modello e l’errore risultante: