超參數調校 是什麼?
Hyperparameter Tuning — 超參數調校 的完整解釋
超參數調校是機器學習中,尋找最佳超參數組合以提升模型效能的過程,涉及多次模型訓練與評估。
容易混淆
超參數調校 vs 模型訓練 模型訓練是讓模型學資料 超參數調校是找怎麼學比較好 最關鍵的區別是學內容,還是調學法
網格搜尋 vs 隨機搜尋 vs 貝氏最佳化 網格搜尋逐格試 隨機搜尋隨機抽樣試 貝氏最佳化會根據過去結果更聰明地選下一組
記住這句就好
不是調模型本身,而是在調學法。
實際案例
分類模型調參 你可以先固定資料切分,再試不同學習率和正則化強度,找出驗證表現最好的組合。
深度學習實驗 不同 batch size、learning rate 和 dropout 率常會讓結果差很多,所以調校流程幾乎是必要的。
算法與應用
超參數調校通常依賴驗證資料集,不是只看訓練集。 如果一直盯著驗證集調到太滿,也會把驗證集一起過擬合。
情境判斷
Q1: 你有很多參數要調,還會先用哪種搜尋法? → 常先考慮隨機搜尋,再視情況看貝氏最佳化。
Q2: 你只有少數幾個參數,每個可選值都不多,哪種方法比較直觀? → 網格搜尋會比較直觀。
相關術語
常見問題
為什麼要調校?
因為同樣的模型,不同設定可能差很多。
怎麼避免過度擬合驗證集?
可以用交叉驗證,或保留最終測試集不要一直看。
調校一定要很久嗎?
通常要花時間,所以常要在效果和成本間取捨。