張量處理單元 是什麼？

TPU — 張量處理單元 的完整解釋

張量處理單元（TPU）是Google專為加速機器學習工作負載而設計的客製化硬體加速器，尤其擅長處理張量運算，是深度學習的利器。

容易混淆

張量處理單元 vs CPU CPU 是通用處理器 TPU 是偏向張量和矩陣運算的專用加速器 最關鍵的區別：通用和專用

張量處理單元 vs GPU GPU 也很擅長平行運算 TPU 更偏向某些深度學習工作負載 最關鍵的區別：同樣是加速器，但設計重點不同

張量處理單元 vs 雲端服務 TPU 是硬體 雲端服務是提供硬體的使用方式 最關鍵的區別：晶片和平台不要混淆

記住這句就好

大量矩陣運算，交給專門的加速晶片最划算。

實際案例

大型訓練 模型訓練要跑數十億次乘加運算時，用 TPU 可以把時間壓得更短

線上推論 在服務流量很高的時候，TPU 能幫忙把每秒處理量撐起來

算法與應用

| 矩陣乘法 | 深度學習最常見的核心運算 | TPU 對這類工作很友善 | | 平行運算 | 同時處理很多數值 | 效能高但要配合模型設計 | | 能耗控制 | 以更低功耗完成運算 | 大規模部署時很重要 | | 工作負載 | 不是每種程式都適合 | 要看模型和資料流形態 |

情境判斷

Q1（直覺題）：你要把很多張圖片一起丟進模型做推論，TPU 有幫助嗎？ → 有可能有幫助，尤其在批次大、矩陣運算多的情況下。

Q2（判斷題）：你只是寫一個小型資料整理腳本，還需要 TPU 嗎？ → 通常不需要，通用 CPU 就足夠。

常見問題

TPU 一定比 GPU 快嗎？

不一定，要看模型類型、框架支援和工作負載。

TPU 可以拿來做訓練嗎？

可以，而且很多大模型訓練本來就會用它。

TPU 和量子電腦有關嗎？

沒有，TPU 是傳統運算的專用加速硬體。