生成式預訓練轉換器 是什麼？

Generative Pre-trained Transformer — 生成式預訓練轉換器 的完整解釋

OpenAI 的自回歸語言模型，一個字接一個字生成文本，只使用 Decoder 架構

容易混淆

GPT vs 傳統 Seq2Seq 模型 傳統 Seq2Seq 通常同時有編碼器和解碼器。 GPT 主要走單向生成，專注在往前接續內容。

GPT vs 轉換器架構 轉換器是更大的架構概念。 GPT 是使用其中 decoder 路線的一種代表模型。

記住這句就好

先預訓練，再一個 token 一個 token 往前生，就是 GPT。

實際案例

聊天助理 你輸入一句話，模型接著往下補出完整回應。

內容續寫 給模型一段文章開頭，它可以延伸出後續段落，維持語氣和主題。

算法與應用

它的核心依賴自注意力與自回歸生成，讓模型依照前文逐步產生後續內容。 在摘要、寫作、程式協助和問答裡，這種生成方式都非常常見。

生成式預訓練轉換器 在 iPAS 考試中的重點

根據歷年統計，生成式預訓練轉換器 相關題目 平均佔 AI 技術類考題 2%， 屬於未分類考範圍。

常見出題方向：生成式預訓練模型的演算法與架構（40%）、預訓練與微調的技術原理（35%）、大型語言模型的應用與限制（25%）。

常見問題

GPT 和大型語言模型是一樣的嗎？

不完全一樣，GPT 是大型語言模型的一種代表架構。

它只會聊天嗎？

不只，還能摘要、改寫、寫程式和做問答。

為什麼自注意力重要？

因為它能讓模型看見前文裡彼此的關係。

預訓練和微調各負責什麼？

預訓練打底，微調把能力拉向特定任務。