Regressione lineare, trucco del kernel e kernel lineare.

Regressione lineare, trucco del kernel e kernel lineare esperti alle prese con l'analisi dei dati.

A volte il trucco del kernel è inutile.

Salvo diversa indicazione, tutte le immagini sono dell'autore

In questo post, voglio mostrare un risultato interessante che non era ovvio per me all’inizio, che è il seguente:

La regressione lineare e la regressione ridge con kernel lineare senza regolarizzazione sono equivalenti.

In realtà, ci sono molti concetti e tecniche coinvolti qui, quindi li analizzeremo uno per uno e infine li useremo tutti per spiegare questa affermazione.

Inizieremo rivedendo la classica regressione lineare. Poi spiegherò cosa è il trucco del kernel e il kernel lineare, e infine mostreremo una prova matematica per l’affermazione sopra.

Un rapido promemoria della classica Regressione Lineare

La matematica della regressione lineare

La classica regressione lineare – Ordinary Least Squares o OLS – è il seguente problema:

dove:

  • Y è un vettore di lunghezza n e consiste nel valore target del modello lineare
  • beta è un vettore di lunghezza m: questo è l’incognita che il modello dovrà “imparare”
  • X è la matrice dei dati con forma n righe e m colonne. Spesso diciamo che abbiamo n vettori registrati nello spazio a m dimensioni

Quindi l’obiettivo è trovare i valori di beta che minimizzano gli errori quadrati:

Questo problema in realtà ha una soluzione di forma chiusa ed è conosciuto come problema dei minimi quadrati ordinari. La soluzione è:

Una volta nota la soluzione, possiamo utilizzare il modello adattato per calcolare nuovi valori di Y date nuove valori di X usando:

Python per la regressione lineare

Verifichiamo la nostra matematica con scikit-learn: ecco un codice python che fornisce un esempio di regressione lineare, utilizzando il regressore lineare di sklearn, così come una regressione basata su numpy