Tecnica di ensemble AdaBoost completamente spiegata con esempio in Python
Tecnica di ensemble AdaBoost completamente spiegata con esempio in Python una guida dettagliata
L’algoritmo di ensemble boosting nel machine learning
Introduzione
Tecniche di ensemble: Possiamo dire che è una collezione o un gruppo di modelli di machine learning deboli che diventano un modello di machine learning forte, questa tecnica è conosciuta come ensemble.
Modelli deboli o base: Questi sono gli algoritmi diversi utilizzati in una collezione di modelli di machine learning base nell’ensemble, questi modelli possono essere regressione logistica, SVM, alberi decisionali, regressione lineare, random forest, ecc.
Nelle tecniche di ensemble, abbiamo bisogno di variazione nei modelli per renderli predittori dalla varietà e non cercare di dare la stessa analisi di previsione.
- Appunti su CLIP Collegare Testo e Immagini
- Visualizzazione delle serie temporali
- ChatGPT è fantastico ma troppo pubblicizzato
Questa variazione può essere fatta mantenendo lo stesso modello di base e cambiando i dati di input forniti ai modelli di base. Il secondo modo è avere un modello di base diverso e avere gli stessi dati di input in modo che i modelli possano allenarsi con dati diversi.
- Per la classificazione: La previsione si basa sul conteggio della maggioranza di tutti i modelli deboli.
- Per la regressione: la previsione si basa sulla media di tutte le previsioni dei modelli di base.
Tipi di tecniche di ensemble:
- Scelta di più modelli
- Bagging:
- Foresta casuale
3. Boosting:
- Ada-boosting
- Gradient boosting
- XGBoost
4. Stacking
Adaboost rientra nella categoria degli algoritmi di boosting. Nei casi recenti, l’utilizzo delle tecniche di boosting è diventato massiccio a causa dell’alta velocità di prestazione e della minore probabilità di problemi di sovradattamento.
I base learners di Adaboost sono algoritmi di generazione di previsioni sequenziali poiché stiamo potenziando i pesi del nostro modello riducendo sequenzialmente l’errore in ciascun modello di base.
Tipo di modello base learners:
- Omomogeneo: stessi modelli di base nel training
- Eterogeneo: diversi modelli di base nel training
I metodi di ensemble cercano di mantenere un basso bias e una bassa varianza per evitare problemi di sovradattamento.
