生成式預訓練模型 是什麼?
GPT — 生成式預訓練模型 的完整解釋
GPT是一種基於Transformer架構的大型語言模型,透過預訓練學習大量文本資料,用於生成文本、翻譯語言、回答問題等。
容易混淆
GPT vs BERT vs 大型語言模型 GPT 偏生成,適合往下寫和對話 BERT 偏理解,適合分類和抽取 大型語言模型是總稱,GPT 只是其中一種
預訓練 vs 微調 預訓練先學通用語言規律 微調再把模型拉向特定任務 最關鍵的區別是學通用能力還是學專門行為
記住這句就好
先學通用語言,再學怎麼回答你的問題。
實際案例
客服自動回覆 電商把 GPT 接到客服系統,先處理物流、退貨、帳號等固定問題,再把複雜案件轉人工,人工負擔就會明顯下降。
寫作和摘要 學生拿 GPT 幫忙整理長文、改寫成白話,或把會議記錄壓成重點,省下的是整理時間,不是思考本身。
深入了解
GPT 的核心是自回歸生成,前面的文字會影響下一個詞的機率分佈。 它的能力來自資料夠大、模型夠大、訓練夠穩,實務上還會受提示、成本和安全性影響。
情境判斷
Q1: 你想把一段中文翻成英文,應該用 GPT 還是 BERT? → 用 GPT。翻譯需要生成目標語言的句子,GPT 的生成架構比較合適。
Q2: 公司想用 GPT 摘要法律文件,但怕它亂編法條,應該怎麼做? → 搭配 RAG 和人工審核,不要只靠模型記憶回答。
相關術語
常見問題
GPT 真的理解語言嗎?
它能抓到大量語言模式,但是否算真正理解,學界仍有爭論。
訓練 GPT 很貴嗎?
很貴,因為需要大量資料和算力,所以多數團隊會用現成模型再做微調。
GPT 生成的內容有版權嗎?
各國規定還不一致,通常要看是否有人類實質創作參與。