---
title: "生成式預訓練轉換器（Generative Pre-trained Transformer）"
slug: generative-pre-trained-transformer
language: zh-TW
source: https://aiterms.tw/terms/generative-pre-trained-transformer
updated_at: 2026-04-29
tags: [大型語言模型, 自然語言處理, 深度學習]
ipas_term: true
---

# 生成式預訓練轉換器（Generative Pre-trained Transformer）

> **你有沒有看過模型一個字接一個字往下生成，像在接話一樣？**
>
> 你可以把 GPT 想成先在大量資料上學語言，再用一個接一個 token 的方式往前生成內容的模型。
>
> 它重要，是因為這種 decoder-only 架構把生成能力做得很順，成了很多大型語言模型的代表。

### 容易混淆
> **GPT vs 傳統 Seq2Seq 模型**
> 傳統 Seq2Seq 通常同時有編碼器和解碼器。
> GPT 主要走單向生成，專注在往前接續內容。
>
> **GPT vs 轉換器架構**
> 轉換器是更大的架構概念。
> GPT 是使用其中 decoder 路線的一種代表模型。

### 記住這句就好
> 先預訓練，再一個 token 一個 token 往前生，就是 GPT。

### 實際案例
> **聊天助理**
> 你輸入一句話，模型接著往下補出完整回應。
>
> **內容續寫**
> 給模型一段文章開頭，它可以延伸出後續段落，維持語氣和主題。

### 算法與應用
> 它的核心依賴自注意力與自回歸生成，讓模型依照前文逐步產生後續內容。
> 在摘要、寫作、程式協助和問答裡，這種生成方式都非常常見。

### iPAS 考題
> **Q：GPT 為什麼叫生成式預訓練轉換器？**
> → 因為它先預訓練，再用轉換器架構做生成式輸出。
>
> **Q：GPT 的輸出方式有什麼特徵？**
> → 它是自回歸的，會根據前文一步一步生成下一個 token。

### 情境判斷
> **Q1：如果模型能根據前文一路接著往下寫，這和 GPT 的生成方式接近嗎？**
> → 接近，這就是它最典型的行為。
>
> **Q2：如果你要雙向理解全文，再做判斷，GPT 一定是最合適的嗎？**
> → 不一定，因為它偏生成，若任務要強雙向表徵，可能要看其他模型。

### 常見問題
> **Q：GPT 和大型語言模型是一樣的嗎？**
> 不完全一樣，GPT 是大型語言模型的一種代表架構。
>
> **Q：它只會聊天嗎？**
> 不只，還能摘要、改寫、寫程式和做問答。
>
> **Q：為什麼自注意力重要？**
> 因為它能讓模型看見前文裡彼此的關係。
>
> **Q：預訓練和微調各負責什麼？**
> 預訓練打底，微調把能力拉向特定任務。

### 相關術語
> - **轉換器架構**：GPT 的底層骨架就在這裡。
> - **注意力機制**：它是 GPT 能看懂前文的關鍵。
> - **大型語言模型**：GPT 是最常被拿來代表它的模型之一。
> - **自然語言處理**：GPT 最典型的應用場景之一。
> - **微調**：把預訓練能力轉成實際任務能力的常用方法。

---

來源：https://aiterms.tw/terms/generative-pre-trained-transformer
快查頁：https://aiterms.tw/terms/generative-pre-trained-transformer
最後更新：2026/04/29
深度解說：https://aiterms.tw/learning/what-is-generative-pre-trained-transformer