超參數調校 是什麼?

Hyperparameter Tuning — 超參數調校 的完整解釋

超參數調校是機器學習中,尋找最佳超參數組合以提升模型效能的過程,涉及多次模型訓練與評估。

容易混淆

超參數調校 vs 模型訓練 模型訓練是讓模型學資料 超參數調校是找怎麼學比較好 最關鍵的區別是學內容,還是調學法

網格搜尋 vs 隨機搜尋 vs 貝氏最佳化 網格搜尋逐格試 隨機搜尋隨機抽樣試 貝氏最佳化會根據過去結果更聰明地選下一組

記住這句就好

不是調模型本身,而是在調學法。

實際案例

分類模型調參 你可以先固定資料切分,再試不同學習率和正則化強度,找出驗證表現最好的組合。

深度學習實驗 不同 batch size、learning rate 和 dropout 率常會讓結果差很多,所以調校流程幾乎是必要的。

算法與應用

超參數調校通常依賴驗證資料集,不是只看訓練集。 如果一直盯著驗證集調到太滿,也會把驗證集一起過擬合。

情境判斷

Q1: 你有很多參數要調,還會先用哪種搜尋法? → 常先考慮隨機搜尋,再視情況看貝氏最佳化。

Q2: 你只有少數幾個參數,每個可選值都不多,哪種方法比較直觀? → 網格搜尋會比較直觀。

相關術語

常見問題

為什麼要調校?

因為同樣的模型,不同設定可能差很多。

怎麼避免過度擬合驗證集?

可以用交叉驗證,或保留最終測試集不要一直看。

調校一定要很久嗎?

通常要花時間,所以常要在效果和成本間取捨。