---
title: "AI 系統架構（AI System Architecture）"
slug: ai-system-architecture
language: zh-TW
source: https://aiterms.tw/terms/ai-system-architecture
updated_at: 2026-04-29
tags: [系統架構, MLOps, 雲端部署, iPAS中級]
ipas_term: true
---

# AI 系統架構（AI System Architecture）
> **你有沒有想過，當你對 Siri 說「明天台北天氣如何」，這句話要經過多少個系統才能變成一個回答？**
>
> 語音先被轉成文字，文字被理解成意圖，意圖去查天氣資料庫，查到的資料再被組成一句話念給你聽。這整條路徑上的每一個元件怎麼連接、怎麼分工、怎麼部署，就是AI系統架構在解決的問題：它不是某一個模型，而是讓模型能在真實環境中穩定運作的完。
>
> 你可以把它想成一個先回答「用途是什麼」的入口，抓住生活場景後，再看技術細節會更容易。

### 容易混淆

> **AI 系統架構 vs 模型架構 vs MLOps**
>
> 模型架構：指模型內部的結構設計（例如 Transformer 有幾層、注意力機制怎麼接），只關注「模型本身」。
>
> AI 系統架構：指模型加上周圍所有支撐系統的完整技術結構（資料管道、推論服務、監控），關注「模型怎麼在生產環境中運作」。
>
> MLOps：指維運 AI 系統的流程和工具（CI/CD、模型版本管理、自動化部署），關注「怎麼持續交付和維護」。
>
> 最關鍵的區別：模型架構是零件設計，系統架構是整台機器的藍圖，MLOps 是讓這台機器持續運轉的維修手冊。

### 記住這句就好

> 模型是引擎，系統架構是整台車的設計圖。

### 實際案例

> **電商推薦系統**
>
> 一家電商想在用戶瀏覽商品時即時推薦相關產品。模型本身只是一小塊，完整的系統架構包含：用戶行為收集管道（點擊、瀏覽、購買）、特徵儲存庫（把原始行為轉成模型可用的數值）、訓練叢集（每天用最新資料重新訓練模型）、推論服務（每次頁面載入時在 50 毫秒內回傳推薦結果）、A/B 測試框架（比較新舊模型的轉換率）、監控儀表板（追蹤推論延遲和模型準確度）。少了任何一層，推薦功能都無法穩定上線。
>
> **自駕車的邊緣部署**
>
> 自駕車不能靠雲端做決策，因為網路延遲可能致命。系統架構需要把模型部署在車上的邊緣裝置，同時設計雲端和邊緣的分工：邊緣負責即時感知和決策（毫秒級），雲端負責收集駕駛資料、重新訓練模型、再把更新版推回車上。這種雲邊協同的架構，是 AI 系統架構中最複雜的類型之一。

### 算法與應用

> **AI 系統架構的核心分層**
>
> | 層級 | 負責什麼 | 關鍵元件 |
> |---|---|---|
> | 資料層 | 蒐集、清洗、儲存訓練和推論用的資料 | 資料管道、資料湖、特徵儲存庫 |
> | 模型層 | 訓練、評估、版本管理模型 | 訓練叢集、實驗追蹤、模型註冊表 |
> | 服務層 | 將模型包裝成 API 供應用呼叫 | REST/gRPC 推論服務、負載平衡、快取 |
> | 監控層 | 追蹤系統健康度和模型表現 | 延遲監控、資料漂移偵測、告警系統 |
>
> **常見的部署模式**
>
> | 模式 | 適用場景 | 優缺點 |
> |---|---|---|
> | 全雲端 | 用戶量大但延遲要求不嚴格 | 彈性擴展容易，但依賴網路 |
> | 邊緣部署 | 延遲要求極高（自駕、工業控制） | 即時回應，但裝置運算資源有限 |
> | 混合雲邊 | 需要即時推論又需要雲端訓練 | 兼顧兩者，但架構複雜度最高 |

### 情境判斷

> **Q1（直覺題）：** 一家新創公司想上線一個聊天機器人，用戶量初期不大，團隊只有三個工程師。應該自己從零搭建完整的 AI 系統架構，還是用雲端託管服務（如 AWS SageMaker）？
>
> → 用雲端託管服務。團隊小、用戶少的階段，自建架構的維運成本遠超收益，託管服務把資料管道、訓練、部署都包好了，讓團隊專注在模型和產品上。
>
> **Q2（判斷題）：** 一家醫院想部署一個 AI 輔助診斷系統，法規要求病患資料不能離開醫院內網。應該選公有雲、私有雲、還是混合架構？
>
> → 看情況。資料不能出院意味著訓練和推論都必須在院內完成，私有雲是基本要求。但如果醫院想用外部的大型預訓練模型做遷移學習，可能需要混合架構：在公有雲用去識別化資料做預訓練，再把模型搬回院內用真實資料微調。純粹的法規遵循選私有雲，兼顧模型能力選混合架構。

### iPAS 考題

> **出題方向：** 高頻考點，常考根據業務需求選擇部署架構（雲端/邊緣/混合）、各層級元件的功能辨識。
>
> **題目**
> 在 AI 系統架構中，負責將訓練好的模型包裝為可供應用程式呼叫的服務，屬於哪個層級？
> (A) 資料層 (B) 模型層 (C) 服務層 (D) 監控層
>
> → **答案：C。** 服務層負責把模型包裝成 API（如 REST 或 gRPC），讓其他應用可以呼叫模型做推論。

### 常見問題

> **Q：小團隊需要完整的 AI 系統架構嗎？**
> 不需要一步到位。初期可以用 Jupyter Notebook 訓練、Flask 包一個 API 就上線。隨著用戶量和模型複雜度增加，再逐步補上特徵儲存、自動化訓練、監控等元件。架構是演進的，不是一次設計完的。
>
> **Q：AI 系統架構跟傳統軟體架構有什麼不同？**
> 最大的差異是「資料驅動」。傳統軟體的行為由程式碼決定，AI 系統的行為由資料和模型共同決定。這意味著 AI 系統架構必須多處理資料版本管理、模型再訓練、資料漂移偵測這些傳統軟體不需要的問題。
>
> **Q：雲端和邊緣部署可以同時用嗎？**
> 可以，這就是混合雲邊架構。典型做法是雲端負責訓練和模型更新，邊緣負責即時推論。兩邊透過模型同步機制保持一致。手機上的語音助手就是這種架構：模型在雲端訓練，推到手機上執行。

### 相關術語

> - **MLOps**：AI 系統架構的維運層，理解架構之後才能理解怎麼維護它
> - **AI負載平衡**：服務層的關鍵技術，處理大量推論請求時怎麼分配資源
> - **邊緣人工智慧**：邊緣部署的底層技術，理解它才能設計雲邊協同架構
> - **模型部署**：從訓練完成到上線服務的具體流程，是系統架構的核心環節

---

來源：https://aiterms.tw/terms/ai-system-architecture
快查頁：https://aiterms.tw/terms/ai-system-architecture
最後更新：2026/04/29
深度解說：https://aiterms.tw/learning/what-is-ai-system-architecture