你有沒有想過,模型如果塞進太多特徵,會不會像報告寫太多廢話一樣失焦?
你可以把它想成強迫模型只留真正重要的欄位,其他不重要的直接壓到零。
L1 正則化透過懲罰權重的絕對值總和,驅使模型將不重要特徵的權重歸零,達到特徵選擇的效果
你可以把它想成一個把抽象概念拉回日常判斷的提示,先知道它解決什麼問題,再看技術細節。
容易混淆
L2 正則化 L1 會把一些權重直接壓成零,L2 只是把所有權重縮小。
特徵選擇 特徵選擇是目的,L1 是常用手段之一,不是唯一做法。
記住這句就好
想刪特徵,先想到 L1。
實際案例
基因資料分析 幾千上萬個基因裡,真正和疾病有關的可能只有少數,L1 能幫忙篩選。
垃圾郵件過濾 大量詞彙裡只有少數訊號詞有用,L1 會把大多數不重要的權重壓掉。
算法與應用
L1 的懲罰是權重絕對值總和,懲罰加重時,很多權重會被推到 0。這種稀疏性讓模型更容易解釋,也能減少過擬合,但遇到高度相關特徵時,結果可能不穩。
情境判斷
Q1(直覺題): 如果你現在遇到一個 基因資料分析 的場景,這個概念會是第一個想到的工具嗎? → 看情況,但如果任務目標和這個概念的用途一致,就很可能是。核心還是先確認你要解決的是分類、分群、壓縮、檢索,還是最佳化。
Q2(判斷題): 如果你把它和 特徵選擇 一起用,結果反而變不穩,通常該怎麼想? → 看情況。先檢查資料分布、特徵定義和模型假設是否相容,很多時候不是概念本身有問題,而是使用條件不對,像距離尺度沒對齊、標註規則不一致,或輸入格式不合。
iPAS 考題
出題方向: 這類概念常考定義、差異和實務用法。 題目 哪一種正則化具有自動特徵選擇能力? → 答案:C。 L1 正則化可以把不重要特徵的權重壓到 0,等於自動做特徵選擇。L2 只會縮小權重,不會歸零。
常見問題
L1 正則化 最容易跟 L2 正則化 混淆嗎?
L1 會把一些權重直接壓成零,L2 只是把所有權重縮小。
什麼情況會用到 L1 正則化?
你可以把它想成強迫模型只留真正重要的欄位,其他不重要的直接壓到零。 實務上只要你要處理和這個概念相符的任務,就會用到它。
初學者最常錯在哪裡?
特徵選擇是目的,L1 是常用手段之一,不是唯一做法。