你有沒有想過，當你對 Siri 說「明天台北天氣如何」，這句話要經過多少個系統才能變成一個回答？
語音先被轉成文字，文字被理解成意圖，意圖去查天氣資料庫，查到的資料再被組成一句話念給你聽。這整條路徑上的每一個元件怎麼連接、怎麼分工、怎麼部署，就是AI系統架構在解決的問題：它不是某一個模型，而是讓模型能在真實環境中穩定運作的完。
你可以把它想成一個先回答「用途是什麼」的入口，抓住生活場景後，再看技術細節會更容易。
容易混淆
AI 系統架構 vs 模型架構 vs MLOps
模型架構：指模型內部的結構設計（例如 Transformer 有幾層、注意力機制怎麼接），只關注「模型本身」。
AI 系統架構：指模型加上周圍所有支撐系統的完整技術結構（資料管道、推論服務、監控），關注「模型怎麼在生產環境中運作」。
MLOps：指維運 AI 系統的流程和工具（CI/CD、模型版本管理、自動化部署），關注「怎麼持續交付和維護」。
最關鍵的區別：模型架構是零件設計，系統架構是整台機器的藍圖，MLOps 是讓這台機器持續運轉的維修手冊。
記住這句就好
模型是引擎，系統架構是整台車的設計圖。
實際案例
電商推薦系統
一家電商想在用戶瀏覽商品時即時推薦相關產品。模型本身只是一小塊，完整的系統架構包含：用戶行為收集管道（點擊、瀏覽、購買）、特徵儲存庫（把原始行為轉成模型可用的數值）、訓練叢集（每天用最新資料重新訓練模型）、推論服務（每次頁面載入時在 50 毫秒內回傳推薦結果）、A/B 測試框架（比較新舊模型的轉換率）、監控儀表板（追蹤推論延遲和模型準確度）。少了任何一層，推薦功能都無法穩定上線。
自駕車的邊緣部署
自駕車不能靠雲端做決策，因為網路延遲可能致命。系統架構需要把模型部署在車上的邊緣裝置，同時設計雲端和邊緣的分工：邊緣負責即時感知和決策（毫秒級），雲端負責收集駕駛資料、重新訓練模型、再把更新版推回車上。這種雲邊協同的架構，是 AI 系統架構中最複雜的類型之一。
算法與應用
AI 系統架構的核心分層
層級 負責什麼 關鍵元件 資料層 蒐集、清洗、儲存訓練和推論用的資料 資料管道、資料湖、特徵儲存庫 模型層 訓練、評估、版本管理模型 訓練叢集、實驗追蹤、模型註冊表 服務層 將模型包裝成 API 供應用呼叫 REST/gRPC 推論服務、負載平衡、快取 監控層 追蹤系統健康度和模型表現 延遲監控、資料漂移偵測、告警系統 常見的部署模式
模式 適用場景 優缺點 全雲端 用戶量大但延遲要求不嚴格 彈性擴展容易，但依賴網路 邊緣部署 延遲要求極高（自駕、工業控制） 即時回應，但裝置運算資源有限 混合雲邊 需要即時推論又需要雲端訓練 兼顧兩者，但架構複雜度最高
情境判斷
Q1（直覺題）： 一家新創公司想上線一個聊天機器人，用戶量初期不大，團隊只有三個工程師。應該自己從零搭建完整的 AI 系統架構，還是用雲端託管服務（如 AWS SageMaker）？
→ 用雲端託管服務。團隊小、用戶少的階段，自建架構的維運成本遠超收益，託管服務把資料管道、訓練、部署都包好了，讓團隊專注在模型和產品上。
Q2（判斷題）： 一家醫院想部署一個 AI 輔助診斷系統，法規要求病患資料不能離開醫院內網。應該選公有雲、私有雲、還是混合架構？
→ 看情況。資料不能出院意味著訓練和推論都必須在院內完成，私有雲是基本要求。但如果醫院想用外部的大型預訓練模型做遷移學習，可能需要混合架構：在公有雲用去識別化資料做預訓練，再把模型搬回院內用真實資料微調。純粹的法規遵循選私有雲，兼顧模型能力選混合架構。
iPAS 考題
出題方向： 高頻考點，常考根據業務需求選擇部署架構（雲端/邊緣/混合）、各層級元件的功能辨識。
題目 在 AI 系統架構中，負責將訓練好的模型包裝為可供應用程式呼叫的服務，屬於哪個層級？ (A) 資料層 (B) 模型層 (C) 服務層 (D) 監控層
→ 答案：C。 服務層負責把模型包裝成 API（如 REST 或 gRPC），讓其他應用可以呼叫模型做推論。
常見問題
小團隊需要完整的 AI 系統架構嗎？
不需要一步到位。初期可以用 Jupyter Notebook 訓練、Flask 包一個 API 就上線。隨著用戶量和模型複雜度增加，再逐步補上特徵儲存、自動化訓練、監控等元件。架構是演進的，不是一次設計完的。
AI 系統架構跟傳統軟體架構有什麼不同？
最大的差異是「資料驅動」。傳統軟體的行為由程式碼決定，AI 系統的行為由資料和模型共同決定。這意味著 AI 系統架構必須多處理資料版本管理、模型再訓練、資料漂移偵測這些傳統軟體不需要的問題。
雲端和邊緣部署可以同時用嗎？
可以，這就是混合雲邊架構。典型做法是雲端負責訓練和模型更新，邊緣負責即時推論。兩邊透過模型同步機制保持一致。手機上的語音助手就是這種架構：模型在雲端訓練，推到手機上執行。