你有沒有看過 AI 服務一忙起來，某台 GPU 爆滿、其他台卻還很閒？ 你可以把 AI 負載平衡想成，把任務分給不同伺服器或 GPU 去做。 它其實就是讓 AI 的訓練和推論不要都擠在同一台機器上。 這樣才能把資源吃滿，服務也比較不會卡住。
容易混淆
AI 負載平衡 vs 傳統負載平衡 傳統負載平衡多看請求數，AI 負載平衡還要看 GPU、模型大小和記憶體。 AI 場景的瓶頸不只在流量，還在算力。
AI 負載平衡 vs 自動擴縮 負載平衡是分配現有資源，自動擴縮是增減資源數量。 一個分工，一個加班。
最關鍵的區別： 一個在分配，一個在增減資源。
記住這句就好
把算力分平均，AI 服務才不會塞車。
實際案例
即時聊天服務 高峰時把請求分到不同推論節點，使用者就不會因為單台機器滿載而卡住。
多 GPU 訓練 不同 worker 的資料量和模型分片不一樣時，負載平衡可以減少某一台拖慢整體速度。
算法與應用
常見策略有輪詢、加權輪詢、最少連線和依延遲分配。 在 AI 場景裡，還會看 GPU 記憶體、模型大小、批次大小和推論延遲。 好的負載平衡不只省資源，也會直接影響使用者體感。
情境判斷
Q1（直覺題）： 某台 GPU 已經快滿了，系統應該怎麼做？
把新請求導到其他還有餘裕的節點，這正是負載平衡的工作。
Q2（判斷題）： 只要平均分配請求，就是最好的 AI 負載平衡嗎？
不一定，因為不同模型和請求的成本不同，常常要加權處理。
常見問題
AI 負載平衡主要看什麼指標？
常看延遲、吞吐量、GPU 利用率、記憶體和排隊時間。
AI 推論和訓練都需要負載平衡嗎？
都可能需要，只是訓練更常遇到長時間分工，推論更在意即時延遲。
AI 負載平衡跟容器化有關嗎？
有關，很多部署會先用容器把模型包好，再在上層做調度。