你有沒有調過模型,才發現有些設定不是學出來的,是你自己先決定的?
你可以把超參數想成訓練前先定好的規則。 像學習率、批次大小、樹深這些值,不是模型自己學,而是人先設定,會直接影響學習結果。
你可以把它想成一個把抽象概念拉回日常判斷的提示,先知道它解決什麼問題,再看技術細節。
容易混淆
超參數 vs 模型參數 模型參數是訓練過程中學出來的 超參數是人先設定的 最關鍵的區別是學出來,還是先選好
超參數 vs 超參數調校 超參數是那個設定本身 超參數調校是找最適合設定的過程 最關鍵的區別是值,還是找值的方法
記住這句就好
先設定規則,模型才開始學。
實際案例
學習率選擇 學習率太大會震盪,太小會很慢,這就是超參數會直接影響訓練品質的典型例子。
樹模型深度 決策樹或梯度提升法的樹深,會影響模型複雜度和過擬合風險。
算法與應用
超參數決定學習方式,不是直接學到的內容。 它們常要靠驗證資料集和搜尋方法來找,而不是憑直覺一次定死。
情境判斷
Q1: 學習率、批次大小、樹深,哪一種比較像超參數? → 這些都屬於超參數,因為它們是人先設定的訓練條件。
Q2: 模型訓練完後自己得到的權重,算不算超參數? → 不算,那是模型參數,不是超參數。
iPAS 考題
出題方向:常考超參數與模型參數的差異,以及常見超參數的影響。 題目: 下列哪一項最符合「超參數」的概念? → 答案: 學習率。它是在訓練前由人設定,不是模型自己學出來的。
常見問題
常見超參數有哪些?
學習率、批次大小、層數、樹深、正則化強度都很常見。
超參數為什麼重要?
因為它會直接影響模型能不能學好、會不會過擬合。
超參數是固定不變的嗎?
不是,通常要根據資料和任務調整。