注意力機制 是什麼？

Attention Mechanism — 注意力機制 的完整解釋

注意力機制讓神經網路在處理序列資料時，動態分配不同位置的關注權重，提升長距離依賴的捕捉能力

容易混淆

注意力機制 vs 自注意力？ 注意力機制：依任務動態調整關注權重 自注意力：序列內部自己互相比對的重要形式 最關鍵的區別：自注意力是注意力機制的一種

注意力機制 vs 池化？ 注意力機制：重點在分配焦點 池化：重點在壓縮資訊 最關鍵的區別：注意力是在挑重點，池化是在縮資料

注意力機制 vs 固定特徵提取？ 注意力機制：可以和 RNN、Transformer 等架構搭配 固定特徵提取：每個位置被同等對待 最關鍵的區別：前者會學會看誰重要，後者常是平均處理

記住這句就好

哪裡重要，就多看哪裡

實際案例

機器翻譯 翻譯一句長句時，模型會對應到原句裡最相關的詞，避免只看最後幾個字

文件摘要 摘要模型會先抓出標題、關鍵名詞與重複主題，把不重要的句子權重調低

算法與應用

重點	你要看什麼	為什麼重要
Query	當前要找什麼	告訴模型現在在問哪個重點
Key/Value	可被比較的內容	讓模型比對哪個位置該被重視
權重	相對重要性	決定最後保留多少資訊

情境判斷

Q1：一段文字很長，模型只看最後一個 token，這比注意力機制更適合嗎？ → 通常不適合，因為前文資訊可能被忽略，注意力能把相關位置拉回來

Q2：注意力權重高，就代表那個位置一定是造成答案的真正原因嗎？ → 不一定，權重高只表示模型重視它，不等於已經證明因果關係

注意力機制 在 iPAS 考試中的重點

根據歷年統計，注意力機制 相關題目 平均佔 AI 技術類考題 3%， 屬於未分類考範圍。

常見出題方向：類神經網路架構（40%）、序列模型與自然語言處理（35%）、深度學習演算法原理（25%）。

常見問題

注意力機制可以完全取代 RNN 嗎？

在很多語言任務上可以，但是否取代要看計算成本、資料型態與模型設計。

注意力一定比較準嗎？

不一定。它很強，但仍要看任務、資料量與訓練方式。

注意力只能用在文字嗎？

不是，影像、音訊與多模態資料也常會用到注意力。