模型壓縮 是什麼？

Model Compression — 模型壓縮 的完整解釋

模型壓縮是指減少機器學習模型大小和計算複雜度的技術，以便在資源有限的設備上部署，同時保持模型性能。

容易混淆

模型壓縮 vs 混合精度訓練

模型壓縮：把模型本身變小或變簡。 混合精度訓練：訓練時混著用不同數值精度。 最關鍵的區別：前者偏模型變形，後者偏訓練策略。

模型壓縮 vs 模型量化

模型壓縮：是更大的總稱。 模型量化：是壓縮的一種常見方法。 最關鍵的區別：前者是家族名，後者是成員之一。

記住這句就好

把大模型瘦身，換速度和部署彈性。

實際案例

手機端情緒辨識

原本太大的語音模型經過壓縮後，才能放進行動 App 內即時運行。

雲端成本下降

同樣的分類模型如果被蒸餾得更小，單次推論成本就能明顯下降。

算法與應用

常見手法有剪枝、量化、知識蒸餾和低秩分解。 壓縮不只是縮參數，還要看速度、記憶體和準確率的整體取捨。 好的壓縮會盡量保留原模型能力。

情境判斷

Q1（情境題）： 如果模型壓縮後準確率只掉一點點，值得嗎？

→ 通常值得，尤其在部署空間、延遲或成本壓力很大的時候。

Q2（情境題）： 如果壓縮後模型變很小，但速度沒變快，這正常嗎？

→ 有可能。壓縮方法不一定直接改善實際推論時間，還要看硬體和實作。

常見問題

模型壓縮一定會犧牲準確率嗎？

不一定，但通常會有取捨，目標是把損失壓到可接受。

它和量化、剪枝、蒸餾的關係是什麼？

它們是壓縮裡的常見方法。

模型越大就越不需要壓縮嗎？

不是。模型越大，越可能需要壓縮來滿足部署限制。