解析：
Transformer 架構的自迴歸模型（如 GPT 系列）透過自注意力機制處理長距離依賴，能有效維持長對話的上下文一致性，是生成式 AI 文本生成的主流架構。
你有沒有打幾句話，就讓 AI 幫你寫出一整段內容？
你可以把 GPT 想成先看過很多文字，再學會接著寫下去的模型。 它不是先背答案，而是先學語言規律，再把這些規律拿來生成、改寫、摘要和對話，所以很適合處理文字工作。
你可以把它想成一個把抽象概念拉回日常判斷的提示，先知道它解決什麼問題，再看技術細節。
容易混淆
GPT vs BERT vs 大型語言模型 GPT 偏生成，適合往下寫和對話 BERT 偏理解，適合分類和抽取 大型語言模型是總稱，GPT 只是其中一種
預訓練 vs 微調 預訓練先學通用語言規律 微調再把模型拉向特定任務 最關鍵的區別是學通用能力還是學專門行為
記住這句就好
先學通用語言，再學怎麼回答你的問題。
實際案例
客服自動回覆 電商把 GPT 接到客服系統，先處理物流、退貨、帳號等固定問題，再把複雜案件轉人工，人工負擔就會明顯下降。
寫作和摘要 學生拿 GPT 幫忙整理長文、改寫成白話，或把會議記錄壓成重點，省下的是整理時間，不是思考本身。
深入了解
GPT 的核心是自回歸生成，前面的文字會影響下一個詞的機率分佈。 它的能力來自資料夠大、模型夠大、訓練夠穩，實務上還會受提示、成本和安全性影響。
情境判斷
Q1： 你想把一段中文翻成英文，應該用 GPT 還是 BERT？ → 用 GPT。翻譯需要生成目標語言的句子，GPT 的生成架構比較合適。
Q2： 公司想用 GPT 摘要法律文件，但怕它亂編法條，應該怎麼做？ → 搭配 RAG 和人工審核，不要只靠模型記憶回答。
常見問題
GPT 真的理解語言嗎？
它能抓到大量語言模式，但是否算真正理解，學界仍有爭論。
訓練 GPT 很貴嗎？
很貴，因為需要大量資料和算力，所以多數團隊會用現成模型再做微調。
GPT 生成的內容有版權嗎？
各國規定還不一致，通常要看是否有人類實質創作參與。
範例考題
某企業導入生成式 AI 系統，希望自動產出客服回覆與內部文件摘要。系統需能理解使用者輸入的完整語句內容，並在回覆中維持語意連貫，即使對話內容較長仍能保持上下文一致性。基於上述需求，下列何種模型架構最為適合？
- A. 卷積神經網路（Convolutional Neural Network, CNN）
- B. 遞迴神經網路（Recurrent Neural Network, RNN）
- C. 基於 Transformer 架構的自迴歸模型（Autoregressive Model） ✓ 正確答案
- D. 生成對抗網路（Generative Adversarial Network, GAN）
關於 ChatGPT、Anthropic Claude、GitHub Copilot 等 AI 程式碼輔助工具的運作原理，下列敘述何者正確？
- A. 這些工具基於大型語言模型，經由大量程式碼與文本訓練，透過預測下一個符號來生成程式碼，但不保證產生程式碼的正確性 ✓ 正確答案
- B. GitHub Copilot 會在提供程式碼建議前執行並驗證該程式碼，確保其執行結果正確無誤
- C. Anthropic Claude 的程式碼建議並非即時生成，而是從事先整理的已知解答資料庫中檢索而得
- D. ChatGPT 內建完整的編譯器，可在輸出程式碼前自動編譯並更正所有語法與邏輯錯誤
解析：
AI 程式碼輔助工具（如 ChatGPT、Claude、Copilot）都基於大型語言模型，透過預測下一個 token 來生成程式碼。由於是統計預測，無法保證生成程式碼的正確性。