你有沒有發現，同一個模型推論一直重算，速度就會慢很多？
你可以把模型快取想成，先把常用的中間結果或推論結果存起來，下一次直接拿來用。 它重要在於，省下重複計算後，延遲更低，服務吞吐也更穩。
你可以把它想成一個把抽象概念拉回日常判斷的提示，先知道它解決什麼問題，再看技術細節。
容易混淆
模型快取 vs 模型壓縮
模型快取：保存結果，減少重算。 模型壓縮：縮小模型本身，減少運算和記憶體。 最關鍵的區別：前者是存起來重用，後者是把模型變小。
模型快取 vs 模型部署
模型快取：是服務中的一種優化手法。 模型部署：是把模型放到可用環境裡。 最關鍵的區別：前者是優化，後者是上線。
記住這句就好
算過的先留著，下次直接拿。
實際案例
重複查詢相同內容
客服系統常遇到一樣的問題，如果前一筆已算過分類結果，就可以直接快取，避免每次都重新跑模型。
熱門推薦頁
許多人看到的首頁推薦很相近，快取熱門用戶的結果能明顯減少推論壓力。
算法與應用
快取可以放模型輸出、中間表示或特徵計算結果。 是否適合快取，常取決於請求是否重複、結果是否容易過期。 若資料變動很快，快取失效策略就特別重要。
情境判斷
Q1（情境題）： 如果每個請求都長得差不多，模型快取有價值嗎？
→ 很有價值。重複度越高，快取越能省計算。
Q2（情境題）： 如果模型結果很容易因最新資料而改變，快取還能一直用嗎？
→ 不能一直用。這時要設好失效時間或改成只快取穩定的中間結果。
常見問題
模型快取只適合推論嗎？
主要是，但訓練流程中的中間特徵或資料也可能快取。
快取會讓結果不準嗎？
如果資料已變卻還拿舊結果，就可能不準，所以一定要管失效和更新。
它和資料庫快取有什麼不同？
概念相似，但模型快取通常更關心推論成本和模型版本一致性。