你有沒有聽過 AI 訓練常常跑在特殊晶片上，而不是普通電腦 CPU？ 你可以把張量處理單元想成「專門幫深度學習算矩陣的加速器」 它把大量重複的數學運算做得又快又省電 很適合訓練和推論大型模型，但不是所有工作都一定比 GPU 更合適
你可以把它想成一個把抽象概念拉回日常判斷的提示，先知道它解決什麼問題，再看技術細節。
容易混淆
張量處理單元 vs CPU CPU 是通用處理器 TPU 是偏向張量和矩陣運算的專用加速器 最關鍵的區別：通用和專用
張量處理單元 vs GPU GPU 也很擅長平行運算 TPU 更偏向某些深度學習工作負載 最關鍵的區別：同樣是加速器，但設計重點不同
張量處理單元 vs 雲端服務 TPU 是硬體 雲端服務是提供硬體的使用方式 最關鍵的區別：晶片和平台不要混淆
記住這句就好
大量矩陣運算，交給專門的加速晶片最划算。
實際案例
大型訓練 模型訓練要跑數十億次乘加運算時，用 TPU 可以把時間壓得更短
線上推論 在服務流量很高的時候，TPU 能幫忙把每秒處理量撐起來
算法與應用
| 矩陣乘法 | 深度學習最常見的核心運算 | TPU 對這類工作很友善 | | 平行運算 | 同時處理很多數值 | 效能高但要配合模型設計 | | 能耗控制 | 以更低功耗完成運算 | 大規模部署時很重要 | | 工作負載 | 不是每種程式都適合 | 要看模型和資料流形態 |
情境判斷
Q1（直覺題）： 你要把很多張圖片一起丟進模型做推論，TPU 有幫助嗎？
有可能有幫助，尤其在批次大、矩陣運算多的情況下。
Q2（判斷題）： 你只是寫一個小型資料整理腳本，還需要 TPU 嗎？
通常不需要，通用 CPU 就足夠。
常見問題
TPU 一定比 GPU 快嗎？
不一定，要看模型類型、框架支援和工作負載。
TPU 可以拿來做訓練嗎？
可以，而且很多大模型訓練本來就會用它。
TPU 和量子電腦有關嗎？
沒有，TPU 是傳統運算的專用加速硬體。