Ensemble impilati per modellazione predittiva avanzata con H2O.ai e Optuna
Ensemble stratificati per modellazione predittiva avanzata con H2O.ai e Optuna
E come ho ottenuto il 10% dei migliori risultati nella competizione di machine learning più grande d’Europa con loro!
Tutti sappiamo che i modelli ensemble sono migliori di un singolo modello nella modellazione predittiva. Probabilmente hai già sentito parlare di Bagging e Boosting come comuni metodi di ensemble, con Random Forests e Gradient Boosting Machines come esempi rispettivi.
Ma cosa succede se uniamo diversi modelli sotto un modello di livello superiore separato? Ecco dove entrano in gioco gli ensemble sovrapposti. Questo articolo è una guida passo-passo su come addestrare ensemble sovrapposti utilizzando la famosa libreria di apprendimento automatico H2O.
Per dimostrare la potenza degli ensemble sovrapposti, fornirò una panoramica del mio codice completo per l’addestramento di un ensemble sovrapposto di 40 modelli di Deep Neural Network, XGBoost e LightGBM per il compito di previsione presentato nella competizione di codifica Cloudflight del 2023 (Categoria IA), una delle più grandi competizioni di codifica in Europa, dove ho ottenuto il 10% dei migliori risultati sulla classifica della competizione con un tempo di addestramento di 1 ora!
Questa guida coprirà:
- Può Chat GPT giocare a scacchi?
- Top 12 Leader di Data Science da seguire nel 2024
- I Pericoli delle Allucinazioni dell’AI Svelare le Sfide e le Implicazioni
- Cos’è un ensemble sovrapposto e come funziona?
- Come addestrare ensemble sovrapposti con H2O.ai
- Confronto delle prestazioni di un ensemble sovrapposto rispetto ai modelli autonomi
1. Cosa sono gli Ensemble Sovrapposti?
Un ensemble sovrapposto combina le previsioni di più modelli attraverso un altro modello di livello superiore, con l’obiettivo di aumentare le prestazioni predittive complessive sfruttando i punti di forza unici di ciascun modello costituente. Coinvolge 2 fasi:
Fase 1: Multipli Modelli di Base
Innanzitutto, più modelli di base vengono addestrati indipendentemente sullo stesso dataset di addestramento. Questi modelli dovrebbero essere idealmente diversi, spaziando dalla semplice regressione lineare ai complessi modelli di deep learning. L’importante è che differiscano l’uno dall’altro in qualche modo, sia in termini di algoritmo che di impostazioni degli iperparametri.
Più diversi sono i modelli di base, più potente sarà l’ensemble sovrapposto finale. Questo perché modelli diversi sono in grado di catturare diversi pattern nei…
