提升算法 是什麼?

Boosting — 提升算法 的完整解釋

Boosting 是一種集成學習技術,透過迭代訓練一系列弱學習器,每個學習器都試圖糾正前一個學習器的錯誤,最終將它們組合起來形成一個強學習器。

容易混淆

Boosting vs Bagging Boosting 是一輪補一輪的錯誤,Bagging 是多個模型平行投票。

Boosting vs Random Forest Random Forest 偏 Bagging 路線,Boosting 偏逐步修正路線。

Boosting vs Stacking Stacking 是再用一個模型整合多個模型,Boosting 則是序列式地把弱模型疊起來。

記住這句就好

先看它要解決的是什麼問題,再看它是不是最合適的方法。

實際案例

案例 1:表格資料預測 信用風險、流失預測、廣告轉換這類表格任務,Boosting 常常很強。

案例 2:錯誤修正 前一輪老是漏掉的樣本,下一輪會被更重視。

算法與應用

面向 重點
核心 每一輪都盯著前一輪的錯誤,慢慢把模型推強。
優點 通常能把偏差壓低,表格資料表現常很好。
注意 資料太吵時,Boosting 也可能把噪聲一起學進去。

情境判斷

Q1(判斷題): 如果模型一直把錯的樣本抓出來重訓,這比較像哪種集成法? → 比較像 Boosting,因為它會把注意力放在前一輪的錯誤上。

Q2(判斷題): 如果你只想讓多個模型平均一下結果,會是 Boosting 嗎? → 通常不是,這比較像 Bagging。

相關術語

常見問題

Boosting 一定比其他方法好嗎?

不一定,要看資料型態和噪聲大小。

Boosting 為什麼常見於表格資料?

因為它對結構化特徵很敏感,常能拿到很強的預測效果。

Boosting 會過擬合嗎?

會,尤其資料噪聲多或樹太深時,要搭配正則化和早停。