你在比較一個模型訓練集很高、驗證集卻掉很多的時候，你會怎麼判斷它真正的作用？
你可以把它想成 偏差方差權衡是指在模型訓練中，降低偏差會增加方差，反之亦然。目標是找到一個平衡點，使模型在未見過的數據上表現良好。
在 你在比較一個模型訓練集很高、驗證集卻掉很多的時候 這種情境裡，這個概念會直接影響你怎麼設計、怎麼評估、怎麼上線。
容易混淆
偏差 vs 方差 偏差高代表模型太簡單，方差高代表模型對資料變動太敏感。
偏差方差權衡 vs 過擬合 過擬合是方差偏高的常見結果，權衡是在找兩者的平衡點。
偏差方差權衡 vs 正則化 正則化是調整權衡的工具，不是權衡本身。
記住這句就好
先看它要解決的是什麼問題，再看它是不是最合適的方法。
實際案例
案例 1：小資料集上的深度模型 模型參數很多時，訓練集可能很漂亮，驗證集卻掉很快，這就是方差過高。
案例 2：只用線性模型做複雜任務 模型太單純，連訓練資料都學不夠，這就是偏差過高。
算法與應用
面向 重點 偏差 模型的平均預測離真值有多遠，偏差高常見於欠擬合。 方差 模型對訓練資料變動有多敏感，方差高常見於過擬合。 調整 資料更多、模型更複雜、正則化、早停、交叉驗證都會影響平衡。
情境判斷
Q1（判斷題）： 訓練集和驗證集都很差，這通常代表什麼？ → 多半是偏差太高，模型學得太少或特徵不夠。
Q2（判斷題）： 訓練集很高、驗證集掉很多，該先懷疑什麼？ → 先懷疑方差太高，也就是模型太容易記住訓練資料。
常見問題
要怎麼降低方差？
可以加資料、做正則化、簡化模型、提早停止訓練。
要怎麼降低偏差？
可以增加模型容量、加入更好的特徵，或換更能表達關係的模型。
這個權衡只能二選一嗎？
不是絕對二選一，但在固定資料與算力下，通常只能往一邊挪一點，再觀察另一邊的代價。