L2 正則化(L2 Regularization (Ridge))是什麼?

L2 正則化是一種機器學習技術,透過在損失函數中加入權重平方和的懲罰項,促使模型權重縮小,有效降低模型複雜度並避免過度擬合,提升泛化能力。|本頁含完整原理、應用場景、iPAS 考試重點與 3 個常見問答。

L2 正則化(L2 Regularization (Ridge))是什麼? 機器學習模型訓練

模型為了追求訓練分數,權重一路變大,為什麼新資料反而更容易出錯?

你可以把它想成幫模型踩煞車,讓所有權重都收斂一點,不要太極端。

L2 正則化是一種機器學習技術,透過在損失函數中加入權重平方和的懲罰項,促使模型權重縮小,有效降低模型複雜度並避免過度擬合,提升泛化能力。

容易混淆

L1 正則化 L2 是整體縮小權重,L1 是把少數不重要的權重直接歸零。

Dropout Dropout 是訓練時隨機關掉部分神經元,L2 是在損失函數裡直接罰大權重。

記住這句就好

所有權重都縮小,但不刪光。

實際案例

房價預測 坪數、樓層、屋齡等特徵很多時,L2 可以避免某些係數被放得太大。

神經網路訓練 參數很多時,weight decay 能讓模型不那麼依賴少數極端權重。

算法與應用

L2 懲罰的是權重平方和,權重越大,懲罰越重。它的效果是讓模型更平滑、泛化更好,特別適合特徵很多但彼此相關的情況。和 L1 比起來,L2 比較保守,通常不會把特徵整個清掉。

情境判斷

Q1(直覺題): 如果你現在遇到一個 房價預測 的場景,這個概念會是第一個想到的工具嗎? → 看情況,但如果任務目標和這個概念的用途一致,就很可能是。核心還是先確認你要解決的是分類、分群、壓縮、檢索,還是最佳化。

Q2(判斷題): 如果你把它和 Dropout 一起用,結果反而變不穩,通常該怎麼想? → 看情況。先檢查資料分布、特徵定義和模型假設是否相容,很多時候不是概念本身有問題,而是使用條件不對,像距離尺度沒對齊、標註規則不一致,或輸入格式不合。

iPAS 考題

出題方向: 這類概念常考定義、差異和實務用法。 題目 關於 L2 正則化,下列何者正確? → 答案:B。 L2 正則化透過懲罰權重平方和,讓所有權重趨向較小值。它不是把權重壓成零,也不是只適用於神經網路。

常見問題

L2 正則化 最容易跟 L1 正則化 混淆嗎?

L2 是整體縮小權重,L1 是把少數不重要的權重直接歸零。

什麼情況會用到 L2 正則化?

你可以把它想成幫模型踩煞車,讓所有權重都收斂一點,不要太極端。 實務上只要你要處理和這個概念相符的任務,就會用到它。

初學者最常錯在哪裡?

Dropout 是訓練時隨機關掉部分神經元,L2 是在損失函數裡直接罰大權重。