解析：
訓練誤差不下降且參數更新幅度極小，與梯度傳遞效率有關，這是梯度消失問題的典型症狀。調整啟動函數（如從 Sigmoid 改為 ReLU）能有效改善梯度傳遞，解決梯度消失問題。
你在訓練模型時，有沒有想過它到底學進腦袋的是什麼？
你可以把 模型參數 想成 模型學到的就是這些數值。
訓練真正改變的，就是參數，參數就是模型訓練後學到的數值 這件事就特別重要。
你可以把它想成一個把抽象概念拉回日常判斷的提示，先知道它解決什麼問題，再看技術細節。
容易混淆
模型參數 vs 超參數
參數是模型在訓練中自己學習的內部值；超參數是訓練前人為設定的值，例如學習率、模型層數，兩者都影響模型表現，但調整方式不同。
最關鍵的區別：一個是模型學到的值，一個是人先設的值。
模型參數 vs 超參數
參數是模型自己學出來的數值，超參數是人先設好的設定
最關鍵的區別：一個靠訓練學，一個靠人先決定。
記住這句就好
參數就是模型訓練後學到的數值
實際案例
案例 1：線性迴歸學到的斜率和截距，就是參數
這種情況下，模型參數 會幫你把原本手工或靠直覺的步驟變得更穩。
案例 2：神經網路訓練後，權重和偏差都屬於參數
另一個常見場景也能看出 模型參數 的價值，因為它處理的是同一種核心問題。
算法與應用
核心意思就是：參數就是模型訓練後學到的數值。
神經網路裡的權重和偏差都屬於參數
訓練時會透過損失函數和梯度下降去調整它們
情境判斷
Q1（直覺題）： 線性迴歸學到的斜率和截距，就是參數 這種情況，會先想到 模型參數 嗎？
→ 會，因為它正好在處理這件事的核心問題，只是還要看資料乾不乾淨、流程穩不穩。
Q2（判斷題）： 參數多就一定比較好嗎？
→ 看情況，參數多代表容量大，但資料和訓練不夠時也更容易過擬合
常見問題
什麼是超參數？它和模型參數有什麼區別？
超參數是在訓練模型之前設定的參數，例如學習率、批次大小、正則化係數等，用於控制模型訓練的過程。 模型參數是模型在訓練過程中學習到的數值，用於決定模型如何對輸入資料進行轉換和預測。 超參數需要人工調整或使用自動超參數優化方法進行選擇，而模型參數則通過訓練算法自動學習。
如何選擇最佳的模型參數？
選擇最佳的模型參數通常需要使用優化算法，例如梯度下降、Adam等，通過不斷迭代更新模型參數，使得模型的損失函數最小化。 此外，還可以使用交叉驗證等方法來評估模型在不同參數下的性能，從而選擇最佳的模型參數。
模型參數過多會導致什麼問題？
模型參數過多可能導致過擬合，即模型在訓練資料上表現良好，但在測試資料上表現較差。 過擬合的原因是模型學習了訓練資料中的噪聲和細節，而沒有學習到資料的本質規律。 為了避免過擬合，可以使用正則化、Dropout等技術來限制模型的複雜度。
範例考題
某團隊訓練深層神經網路模型時，發現訓練誤差長時間幾乎不下降，模型參數更新幅度極小，呈現學習停滯現象。若研判問題與梯度傳遞效率有關，下列何者最適合的改善策略？
- A. 延長模型訓練時間，使模型有更多機會調整參數
- B. 增加訓練樣本數量，以提升模型學習能力
- C. 調整模型中的啟動函數設定，以改善訓練過程的穩定性 ✓ 正確答案
- D. 簡化模型結構，以降低模型過度擬合的可能性