編碼器(Encoder)是什麼?

編碼器將輸入資料轉換為固定長度的向量表示,提取其語義特徵,以供解碼器或下游任務使用。|本頁含完整原理、應用場景、iPAS 考試重點與 3 個常見問答。

編碼器(Encoder)是什麼? iPAS 深度學習神經網路

你把一長段文字丟進模型時,有沒有想過它怎麼先把內容收進腦袋? 你可以把編碼器想成一個會先讀懂輸入、再把重點濃縮成向量的整理器。 它其實就是把文字、圖片或其他資料轉成固定長度或上下文化的表示,方便後面的解碼器、分類器或檢索系統使用。

你可以把它想成一個把抽象概念拉回日常判斷的提示,先知道它解決什麼問題,再看技術細節。

容易混淆

編碼器 vs 解碼器 編碼器負責把輸入整理成表徵,解碼器負責把表徵轉成輸出,像翻譯、摘要或回覆。

編碼器 vs 嵌入表示 嵌入表示是向量結果,編碼器是產生這些向量的模型或模組。

編碼器 vs 轉換器架構 編碼器是組件,轉換器架構是整個系統設計,兩者不是同一層級。

最關鍵的區別: 編碼器是在做「理解和壓縮」,不是在做「輸出生成」。

記住這句就好

先把輸入讀懂,再變成好用的表示。

實際案例

案例一:客服工單分類 使用者留言很長,編碼器先把整段話濃縮成語意向量,再交給分類器判斷是退貨、報修還是抱怨。

案例二:語意搜尋 你輸入「台北捷運到機場多久」,編碼器把查詢轉成向量,和文件庫裡的文章向量比對,找出最相關的答案。

算法與應用

編碼器的核心工作是特徵抽取,常見做法包括 RNN 編碼、CNN 編碼和 Transformer 編碼。BERT 這類雙向編碼器會同時看左右文,適合分類、抽取和檢索。當輸入很長時,編碼器通常要配合池化、注意力或分段處理,才能保留關鍵資訊。

情境判斷

Q1(直覺題): 你要把一段文章轉成向量,拿去做分類,這時候比較需要編碼器還是解碼器?

→ 比較需要編碼器,因為分類任務重點是先把輸入變成有意義的表示,而不是生成新文字。

Q2(判斷題): 如果同一段輸入在不同上下文下意思會變,單純固定詞向量夠不夠?

→ 不夠,這時候要用能看上下文的編碼器,像 Transformer 或 BERT 類模型,因為同一個詞在不同句子裡的語意可能不一樣。

iPAS 考題

Q1: 編碼器最主要的工作是什麼? (A) 把輸入轉成可供後續任務使用的表示 (B) 把表示逐字生成成輸出 (C) 自動產生標註資料 (D) 直接取代損失函數

→ (A)。編碼器的核心就是讀懂輸入,並把它整理成模型可以使用的特徵表示。

Q2: 下列哪一種任務最常用編碼器作為主要模組? (A) 文本分類 (B) 語音合成 (C) 自動寫作 (D) 文字接龍

→ (A)。分類任務通常先把輸入編成向量,再交給分類頭做判斷。

常見問題

編碼器和詞嵌入(Word Embedding)有什麼不同?

詞嵌入是詞的向量表示,編碼器是把整段輸入變成表示的模型。詞嵌入可以是編碼器的一部分,但兩者不是同一件事。

什麼時候應該使用編碼器?

當你的任務重點是理解、分類、檢索、抽取或壓縮輸入資訊時,就很常用到編碼器。

初學者學習編碼器最常見的誤解是什麼?

很多人以為編碼器只是把文字變短,實際上它更重要的工作是保留語意重點,讓後續模型能更有效利用資訊。

範例考題

在生成式 AI 文字生成模型設計中,Encoder-Decoder 與 Decoder-only 為常見架構。下列何者最能正確說明兩者在資訊處理與生成機制上的核心差異?

  • A. Encoder-Decoder 透過編碼與解碼階段處理序列,Decoder-only 則以單一模型完成處理
  • B. Encoder-Decoder 區分輸入理解與內容生成階段,Decoder-only 以單一模型同時處理上下文與生成 ✓ 正確答案
  • C. Decoder-only 架構主要依賴外部知識檢索,Encoder-Decoder 則不需要
  • D. Encoder-Decoder 架構僅適用於翻譯任務,Decoder-only 架構較適合對話任務

解析:

Encoder-Decoder 架構將輸入理解(編碼)與內容生成(解碼)分為兩個階段;Decoder-only 架構以單一模型同時處理上下文理解與內容生成,是兩者在資訊處理機制上的核心差異。

立即測驗

想測試你對 編碼器 的掌握程度? 開始模擬考