詞義消歧(Word Sense Disambiguation)是什麼?

詞義消歧(WSD)是自然語言處理中的一項任務,旨在確定一個詞在特定上下文中的正確含義,因為許多詞具有多重含義。|本頁含完整原理、應用場景、iPAS 考試重點與 4 個常見問答。

詞義消歧(Word Sense Disambiguation)是什麼? 自然語言處理機器學習

你有沒有看過「銀行」這個詞,明明都是同一個字,意思卻完全不同?

你可以把詞義消歧想成,讓電腦根據上下文判斷一個詞到底是在說哪個意思。

它重要,是因為很多中文和英文詞都有多重含義,意思選錯,整句理解就會歪掉。

你可以把它想成一個把抽象概念拉回日常判斷的提示,先知道它解決什麼問題,再看技術細節。

容易混淆

詞義消歧 vs 關鍵字比對 關鍵字比對只找字有沒有出現,詞義消歧還要看上下文是哪一種意思。

詞義消歧 vs 命名實體辨識 命名實體辨識是找出人名、地名、組織名,詞義消歧是判斷多義詞的正確意思。

詞義消歧 vs 語意搜尋 語意搜尋是找相近內容,詞義消歧是先把單一詞的意思判清楚。

最關鍵的區別:WSD 是判斷「這個字現在代表哪個意思」。

記住這句就好

同一個字,先看上下文,再決定意思。

實際案例

銀行 vs 河岸 「我去銀行存錢」裡的銀行是金融機構,「他站在河岸邊」裡的 bank 是河邊。

Apple 的品牌與水果 在「Apple 發表新手機」裡,Apple 是公司;在「我吃了一顆 apple」裡,它是水果。

算法與應用

傳統方法會用詞典、語義網路和上下文特徵來判斷意思。

現代方法則常直接用語言模型或上下文向量,讓模型從整句話裡抓出最合理的詞義。

WSD 常出現在機器翻譯、資訊檢索、問答系統和語意分析裡。

情境判斷

Q1(直覺題): 「我去銀行提款」裡的「銀行」,你會判成金融機構嗎?

→ 會,因為提款和銀行帳戶的上下文很明確。

Q2(判斷題): 如果只看單獨一個詞,不看前後文,詞義消歧還做得準嗎?

→ 不一定。多義詞通常一定要看上下文,單看單詞很容易判錯。

常見問題

詞義消歧一定要用詞典嗎?

不一定,詞典是方法之一,現在很多模型會直接利用上下文表示來判斷。

中文也需要詞義消歧嗎?

需要,而且中文常常因為同字多義、同詞多義,判斷難度不低。

詞義消歧和大語言模型有關嗎?

有關,大語言模型本身就會用上下文去猜意思,只是精度和可控性依任務而異。

詞義消歧跟語意分析有什麼關係?

詞義消歧是語意分析的一部分,先把詞意分清,後面的理解才穩。