---
title: "符記（Token）"
slug: token
language: zh-TW
source: https://aiterms.tw/terms/token
updated_at: 2026-04-29
tags: [自然語言處理, 大型語言模型, Prompt工程, AI基礎]
ipas_term: false
---

# 符記（Token）

> **你有沒有想過，模型看一段文字時，究竟是整句一起看，還是一小塊一小塊看？**
> 你可以把 token 想成模型讀文字時用的最小工作單位
> 它不一定等於一個字或一個詞，會跟分詞規則和語言有關
> 模型通常先把文字拆成 token，再拿這些 token 去做理解和生成

### 容易混淆
> **符記 vs 分詞**
> 符記是拆完之後得到的單位
> 分詞是把文字拆成這些單位的過程
> 最關鍵的區別：結果和動作不要混在一起
>
> **符記 vs 字**
> 一個字不一定只對應一個 token
> 一個 token 也不一定剛好是一個字
> 最關鍵的區別：token 是模型視角，不是字典視角
>
> **符記 vs 嵌入表示**
> 符記是文字單位
> 嵌入表示是把單位變成向量
> 最關鍵的區別：先有 token，之後才有向量表示
>

### 記住這句就好
> 模型不是直接吃整句話，而是先吃 token。

### 實際案例
> **費用估算**
> 你輸入越長的提示詞，token 數越多，API 計費和處理時間通常也越高
>
> **中文切分**
> 「人工智慧」可能被切成一到多個 token，切法不同，模型看到的邊界也不同
>

### 算法與應用
> | 切分單位 | 字、詞、子詞都可能成為 token | 不同語言規則不一樣 |
> | 上下文長度 | 模型一次能處理多少 token | 這會影響能記住多少內容 |
> | 成本計算 | 很多系統按 token 數計價 | 長輸入和長輸出都會增加成本 |
> | 錯誤來源 | 切分不佳會影響理解與生成 | 尤其在專有名詞和中文上更明顯 |

### 情境判斷
> **Q1（直覺題）：你把一大段報告丟給模型，它突然忘了前面內容，通常先看什麼？**
> → 先看 token 長度有沒有超過上下文限制。
>
> **Q2（判斷題）：你以為一個中文字一定等於一個 token，這個判斷對嗎？**
> → 不一定，要看詞彙表和分詞方式，中文常常不是一對一。
>
### 常見問題
> **Q：token 越少越好嗎？**
> 不一定，太少可能切得太粗，太多又會增加成本，重點是切分方式要適合任務。
>
> **Q：token 和字元是一樣的嗎？**
> 不是，字元是文字外觀，token 是模型處理用的單位。
>
> **Q：為什麼不同模型的 token 數會不一樣？**
> 因為各家詞表和分詞器不同，同一句話可能被切成不同長度。
>

### 相關術語
> - **分詞**：先看 token 的產生過程
> - **嵌入表示**：token 之後通常會進入向量空間
> - **轉換器架構**：很多 token 會在這個架構裡被處理
> - **自然語言處理**：token 是 NLP 最基本的入口之一

---

來源：https://aiterms.tw/terms/token
快查頁：https://aiterms.tw/terms/token
最後更新：2026/04/29
深度解說：https://aiterms.tw/learning/what-is-token