解析：
批次推論適合大規模資料處理且對延遲容忍度較高的場景，以吞吐量最佳化為目標。即時推論則注重每次請求的回應時間穩定性與低延遲，適合需要即時結果的應用。
不是每個預測都需要立刻回應，像月底批次算分數就可以慢一點嗎？ 你可以把批次推論想成把一大批資料一次丟給模型預測，重點是吞吐量不是延遲。 它適合離線分析、報表生成與不急著出結果的任務。
你可以把它想成一個把抽象概念拉回日常判斷的提示，先知道它解決什麼問題，再看技術細節。
容易混淆
批次推論 vs 即時推論？ 批次推論：一次處理很多筆資料 即時推論：一筆來就立刻回應 最關鍵的區別：批次看吞吐量，即時看延遲
批次推論 vs 模型訓練？ 批次推論：適合離線任務 模型訓練：是在更新模型參數 最關鍵的區別：推論是用模型做預測，訓練是讓模型學習
批次推論 vs 串流推論？ 批次推論：常搭配排程工作 串流推論：資料來一筆就處理一筆 最關鍵的區別：批次像夜班工廠，串流像即時櫃台
記住這句就好
不急的預測集中做，省成本又好排程
實際案例
每晚信用評分 銀行把當天累積的客戶資料一起跑分，隔天交給業務或風控使用
推薦清單更新 平台每天清晨批次算好個人推薦結果，使用者白天打開 App 就能直接看到
算法與應用
重點 你要看什麼 為什麼重要 優點 高吞吐、易排程 大量資料時更省資源 限制 延遲高 不適合要立刻回應的場景 配套 排程、佇列、批次大小 影響整體效率與穩定性
情境判斷
Q1：如果你要每天產出一次報表，批次推論合不合適？ → 很合適，因為它本來就是為不急著回應的場景設計
Q2：若使用者下單時必須立刻給風險分數，還適合批次推論嗎？ → 通常不適合，這種需求應該改用即時推論
常見問題
批次推論一定比較便宜嗎？
通常單位成本較低，但如果資料很少或頻率很高，未必最省。
批次大小怎麼決定？
要看記憶體、模型大小與吞吐需求，通常需要實測。
批次推論可以和即時推論共存嗎？
可以，很多系統會同時保留兩種模式。
範例考題
在 AI 推論服務架構設計中，「批次推論（Batch Inference）」與「即時推論（Real-time Inference）」常依任務特性選擇不同機制。下列關於兩者特性的敘述何者最正確？
- A. 批次推論通常以同步請求方式回傳結果，以確保資料一致性；即時推論則多採非同步機制以提升系統吞吐量（Throughput）
- B. 批次推論多用於延遲容忍度較高的大規模資料處理，通常以吞吐量（Throughput）最佳化為優先；即時推論則著重於請求回應時間的穩定性與低延遲特性 ✓ 正確答案
- C. 批次推論因計算資源需求高，僅適用於影像類模型；即時推論則主要應用於結構化資料模型
- D. 即時推論為確保回應速度，通常限制為單筆資料輸入；批次推論則可支援同步多筆資料即時回傳