批次正規化 是什麼？

Batch Normalization — 批次正規化 的完整解釋

批次正規化是一種標準化技巧，針對每層網路的輸入進行調整，使訓練過程更穩定，並允許使用較大的學習率

容易混淆

批次正規化 vs Layer Norm？ 批次正規化：在批次維度上標準化特徵 Layer Norm：在特徵維度上標準化 最關鍵的區別：BN 看批次，LN 看單筆樣本的特徵

批次正規化 vs 正則化？ 批次正規化：主要穩定訓練 正則化：主要抑制過擬合 最關鍵的區別：BN 有時會順便帶來正則效果，但不是它的唯一目的

批次正規化 vs Dropout？ 批次正規化：訓練和推論時行為不同 Dropout：訓練時隨機關掉部分神經元 最關鍵的區別：BN 會用移動平均，Dropout 則是隨機遮罩

記住這句就好

先把每層數值穩住，訓練就比較走得動

實際案例

深層影像模型 在很多卷積網路裡，BN 讓訓練不容易發散，收斂也更快

大學習率訓練 團隊想把學習率調高以加快訓練，BN 幫助模型在較大步伐下仍維持穩定

算法與應用

重點	你要看什麼	為什麼重要
訓練	用批次均值與方差標準化	讓中間層輸入更穩定
推論	用移動平均統計量	避免每次推論結果飄動
效果	穩定、加速、常帶正則感	讓深層網路較好訓練

批次正規化 在 iPAS 考試中的重點

根據歷年統計，批次正規化 相關題目 平均佔 AI 技術類考題 3%， 屬於未分類考範圍。

常見出題方向：深度學習模型訓練技巧（40%）、梯度下降與優化演算法（35%）、類神經網路穩定性與收斂（25%）。

常見問題

BN 一定會提升準確率嗎？

不一定，但常能幫助訓練穩定並間接改善表現。

BN 放在激活前還是後？

常見做法是依架構調整，但多數情況會放在激活前後的合適位置測試。

小批次訓練時 BN 好用嗎？

不一定，小批次下統計量較不穩，有時會改用 Layer Norm。