即時推論 是什麼？

Real-time Inference — 即時推論 的完整解釋

即時推論是指模型在接收到單個輸入後立即進行預測，適用於需要快速響應的應用，例如線上推薦或詐欺檢測。

容易混淆

即時推論 vs 批次推論 批次推論是累積很多資料後一次處理。 即時推論是來一筆就立刻回應。 最關鍵的區別：一個重吞吐量，一個重延遲。

即時推論 vs 流式處理 流式處理重點是資料持續進來時的管線。 即時推論重點是模型對單筆輸入的即時反應。 最關鍵的區別：一個重資料流，一個重模型回應。

即時推論 vs 模型訓練 訓練是在學參數。 推論是在用已經學好的模型做預測。 最關鍵的區別：一個學，一個用。

記住這句就好

一筆資料進來，幾乎立刻要有答案。

實際案例

刷卡風控 信用卡交易一送出，系統就要判斷有沒有可疑風險。 如果慢幾秒，可能就錯過攔截時機。

即時推薦 使用者剛點進首頁，系統就要把最可能點的內容排上來。 這種場景看的是延遲，不是只看模型分數。

算法與應用

即時推論通常會搭配模型壓縮、量化、快取和特徵預先計算，讓每次請求都更快。 系統設計時常要在延遲、吞吐量和成本之間取平衡。 如果模型太大或外部依賴太多，即時體驗很容易被拖慢。

情境判斷

Q1（直覺題）： 你要做信用卡刷卡風控，收到交易後立刻判斷是否可疑，該用什麼？

→ 即時推論，因為反應速度直接影響風險控制。

Q2（判斷題）： 如果你是每晚凌晨才統一算一整天的會員推薦名單，這還算即時推論嗎？

→ 不算，這比較像批次推論，因為它不是來一筆就立刻回應。

常見問題

即時推論一定要毫秒級嗎？

不一定，關鍵是要符合使用者或系統能接受的延遲。

它一定比批次推論貴嗎？

常常比較貴，因為你要為低延遲準備更多資源。

什麼時候不該做即時推論？

當結果不急、可以晚點算、而且大量批次處理更省錢時，就不一定需要即時推論。