L1 正則化(L1 Regularization (Lasso))是什麼?

L1 正則化透過懲罰權重的絕對值總和,驅使模型將不重要特徵的權重歸零,達到特徵選擇的效果|本頁含完整原理、應用場景、iPAS 考試重點與 3 個常見問答。

L1 正則化(L1 Regularization (Lasso))是什麼? 機器學習最佳化

你有沒有想過,模型如果塞進太多特徵,會不會像報告寫太多廢話一樣失焦?

你可以把它想成強迫模型只留真正重要的欄位,其他不重要的直接壓到零。

L1 正則化透過懲罰權重的絕對值總和,驅使模型將不重要特徵的權重歸零,達到特徵選擇的效果

你可以把它想成一個把抽象概念拉回日常判斷的提示,先知道它解決什麼問題,再看技術細節。

容易混淆

L2 正則化 L1 會把一些權重直接壓成零,L2 只是把所有權重縮小。

特徵選擇 特徵選擇是目的,L1 是常用手段之一,不是唯一做法。

記住這句就好

想刪特徵,先想到 L1。

實際案例

基因資料分析 幾千上萬個基因裡,真正和疾病有關的可能只有少數,L1 能幫忙篩選。

垃圾郵件過濾 大量詞彙裡只有少數訊號詞有用,L1 會把大多數不重要的權重壓掉。

算法與應用

L1 的懲罰是權重絕對值總和,懲罰加重時,很多權重會被推到 0。這種稀疏性讓模型更容易解釋,也能減少過擬合,但遇到高度相關特徵時,結果可能不穩。

情境判斷

Q1(直覺題): 如果你現在遇到一個 基因資料分析 的場景,這個概念會是第一個想到的工具嗎? → 看情況,但如果任務目標和這個概念的用途一致,就很可能是。核心還是先確認你要解決的是分類、分群、壓縮、檢索,還是最佳化。

Q2(判斷題): 如果你把它和 特徵選擇 一起用,結果反而變不穩,通常該怎麼想? → 看情況。先檢查資料分布、特徵定義和模型假設是否相容,很多時候不是概念本身有問題,而是使用條件不對,像距離尺度沒對齊、標註規則不一致,或輸入格式不合。

iPAS 考題

出題方向: 這類概念常考定義、差異和實務用法。 題目 哪一種正則化具有自動特徵選擇能力? → 答案:C。 L1 正則化可以把不重要特徵的權重壓到 0,等於自動做特徵選擇。L2 只會縮小權重,不會歸零。

常見問題

L1 正則化 最容易跟 L2 正則化 混淆嗎?

L1 會把一些權重直接壓成零,L2 只是把所有權重縮小。

什麼情況會用到 L1 正則化?

你可以把它想成強迫模型只留真正重要的欄位,其他不重要的直接壓到零。 實務上只要你要處理和這個概念相符的任務,就會用到它。

初學者最常錯在哪裡?

特徵選擇是目的,L1 是常用手段之一,不是唯一做法。