模型監控 是什麼？
Model Monitoring — 模型監控 的完整解釋
模型監控是持續追蹤機器學習模型在生產環境中的效能和行為，以確保其準確性、可靠性和公平性。及時發現並解決問題。
容易混淆
模型監控 vs 系統監控
模型監控：看預測品質、資料漂移和模型行為。 系統監控：看 CPU、記憶體、延遲和錯誤率。 最關鍵的區別：前者關心模型有沒有變笨，後者關心服務有沒有壞。
模型監控 vs 模型部署
模型部署：把模型送上線。 模型監控：上線後持續看它有沒有出問題。 最關鍵的區別：前者是上線，後者是觀察。
記住這句就好
上線不是結束，還要持續盯表現。
實際案例
詐欺模型監控
如果交易量突然暴增，但模型命中率下降，就要檢查是不是資料型態變了。
推薦模型監控
當使用者興趣改變時，點擊率會慢慢下滑，監控可以提早發現這種漂移。
算法與應用
常看指標包括延遲、錯誤率、輸入分布、預測分布和業務 KPI。 很多問題不是立刻壞掉，而是慢慢漂移，這也是監控最有價值的地方。 若系統能自動告警和回滾，維運成本會低很多。
情境判斷
Q1（情境題）： 如果模型表面上還能回應，但命中率一路下降，這算正常嗎？
→ 不正常。模型可能已經漂移，只是服務還沒壞。
Q2（情境題）： 如果流量很低，模型監控還有必要嗎？
→ 有必要，但可簡化。流量低不代表不會資料漂移或版本失配。
相關術語
常見問題
模型監控一定要即時嗎？
不一定。看任務風險，有些場景即時，有些日更或週更就夠。
它和 A/B 測試有關嗎？
有關，但不是同一件事。A/B 測試比較兩個版本，監控是持續看單一版本狀態。
沒有標籤資料也能監控嗎？
可以先看輸入分布、輸出分布和系統指標，只是要評估模型品質會比較難。