梯度提升法(Gradient Boosting)是什麼?

梯度提升法是一種機器學習技術,透過迭代地組合弱學習器(通常是決策樹)來建立強大的預測模型,每次迭代都專注於修正前一個模型的錯誤。|本頁含完整原理、應用場景、iPAS 考試重點與 3 個常見問答。

梯度提升法(Gradient Boosting)是什麼? 機器學習模型訓練

你有沒有想過,模型每次犯錯都能接著把錯補回來?

你可以把梯度提升法想成一群接力修正答案的小老師。 它會一棵一棵地加上弱模型,每一輪都專心修正前一輪的錯誤,最後把很多小改進疊成強模型。

你可以把它想成一個把抽象概念拉回日常判斷的提示,先知道它解決什麼問題,再看技術細節。

容易混淆

梯度提升法 vs 隨機森林 隨機森林是很多樹一起投票 梯度提升法是樹一棵一棵接著修錯 最關鍵的區別是並行投票,還是序列修正

梯度提升法 vs 提升算法 提升算法是更大的家族 梯度提升法是其中一種實作 最關鍵的區別是家族名稱,還是具體方法

記住這句就好

一棵接一棵修前一棵的錯。

實際案例

信用風險評分 銀行常用梯度提升法來預測借款人會不會違約,因為它在表格資料上通常很強。

需求預測 零售或物流場景裡,梯度提升法可以把天氣、節日、歷史銷量一起納入,逐步修正預測偏差。

算法與應用

它很擅長處理結構化資料,但也比較容易因為樹太深或輪數太多而過擬合。 實務上常要調整學習率、樹深和樹數,讓模型在準確度和穩定度之間取得平衡。

情境判斷

Q1: 你要做表格型預測,資料量中等,想先挑一個常勝方法,會想到什麼? → 梯度提升法通常是很好的起點。

Q2: 模型訓練集表現一直提升,但驗證集開始變差,你該怎麼想? → 可能是樹數太多或樹太深,過擬合開始出現。

常見問題

梯度提升法為什麼常很準?

因為它會持續修正前一輪的錯誤,模型會越疊越強。

它一定比隨機森林好嗎?

不一定,資料型態和調參結果都會影響。

什麼時候不適合用?

資料特徵很少、或你更在意快速可解釋時,其他方法可能更省事。