你有沒有想過,為什麼推薦系統可以看出「電影和劇集很像」?
你可以把它想成,原本只是代號或文字的東西,被轉成一串可計算的向量,彼此距離就會有意義。
嵌入表示的重點不是把東西編成號碼而已,而是讓模型能看出誰接近誰、誰跟誰常一起出現。
你可以把它想成一個把抽象概念拉回日常判斷的提示,先知道它解決什麼問題,再看技術細節。
容易混淆
嵌入表示 vs 獨熱編碼 獨熱編碼只是把每個詞或類別做成一個稀疏位置。 嵌入表示會把它放進向量空間,讓相似概念更靠近。 最關鍵的區別:有沒有語義距離。
嵌入表示 vs 嵌入層 嵌入表示是概念,指把離散資料映成向量。 嵌入層是實作方式,是神經網路裡的一個層。 最關鍵的區別:抽象概念,還是具體元件。
嵌入表示 vs 編碼器輸出 編碼器輸出是整個模型處理後的結果。 嵌入表示可能只是其中一個中間表示,也可能直接拿來做下游任務。 最關鍵的區別:是不是整個模型的最終輸出。
記住這句就好
把離散 ID 變成會算距離的向量。
實際案例
推薦系統裡 使用者和商品各自有 embedding,模型可以用向量距離看出誰喜歡誰。 Before:只有帳號與商品編號。After:有了向量之後,推薦才會懂相似性。
自然語言處理裡 單字可以被轉成詞向量,讓模型知道「貓」和「狗」比「貓」和「台北」更接近。 Before:只會數字化。After:開始有語義資訊。
算法與應用
Embedding 的核心是學出一個低維、稠密的向量空間。
維度太低,表達力不夠;維度太高,計算成本和過擬合風險都會上升。
它不只用在文字,也常用在使用者、商品、圖像特徵與結構化欄位。
情境判斷
Q1(直覺題): 嵌入層和嵌入表示是一樣的嗎?
→ 不一樣。嵌入表示是目的,嵌入層只是達成這個目的的一種做法。
Q2(判斷題): 非文字資料也能用 embedding 嗎?
→ 可以。圖像、音訊、結構化資料都能做成 embedding,只要你能把它們轉成向量空間。
iPAS 考題
Q:嵌入表示和獨熱編碼最大的差異是什麼? → 嵌入表示能學出語義距離,獨熱編碼只是在不同位置放 0/1,沒有相似性概念。
Q:嵌入表示常用在哪些地方? → 文字、推薦系統、分類特徵、商品編號、使用者編號,都很常見。
常見問題
嵌入向量維度要怎麼選?
先看詞彙量、資料複雜度和算力,再用驗證結果調整,不要只憑感覺。
嵌入表示和相似度有什麼關係?
如果學得好,向量距離或角度就能反映語義相近程度。
嵌入表示可以直接解釋嗎?
通常不能像規則那樣直接讀懂,但可以透過鄰近詞、類似樣本和可視化去觀察。