iPAS AI 應用規劃師 初級 科目一 人工智慧基礎概論

顯著性圖(Saliency Map)在做什麼?

原題 29

在深度學習模型的分析與驗證過程中,研究人員有時會利用「顯著性圖(Saliency Map)」來輔助理解模型行為。下列何者最符合此技術的主要用途?

白話

深度學習研究人員在分析與驗證模型的過程中,有時會使用「顯著性圖(Saliency Map)」這個工具來幫助理解模型的行為。

問你:顯著性圖的主要用途是什麼?

點選你的答案。

01 總結

一句話總結

顯著性圖把模型的「注意力」畫出來:在輸入資料上標示哪些區域對這次預測結果影響最大

02 情境

先感受問題:模型說「這是貓」,你不知道它在看哪裡

假設「中華電信」的 AI 工程師訓練了一個影像辨識模型,用來辨識客服中心監視器拍到的入場人員。

模型對一張照片輸出「這是員工林先生」,準確率 97%。

但工程師想知道:模型是怎麼認出林先生的?是臉部特徵?是工作服顏色?還是背景裡偶然出現的某個標誌牌?

如果模型是靠背景的標誌牌來認人,那換個場景、沒有那個牌子,準確率就會崩潰。這個模型其實根本沒有學到「人臉辨識」,只是在記標誌牌的位置。

顯著性圖就是用來回答這個問題的:把模型預測「這是林先生」時,影像中哪些區域對這個結論貢獻最大,用熱力圖的方式疊加在原始照片上,讓工程師一眼就能看到模型在「看哪裡」。

03 對照

沒有顯著性圖,怎麼驗證模型行為

在顯著性圖出現之前,驗證深度學習模型「學到的是對的東西」非常困難:

  1. 只看準確率:測試集準確率高,但不代表模型學到了正確的特徵,可能只是記住了資料的偽關聯
  2. 資料偏差難發現:訓練資料裡「狼」的照片背景都是雪地,模型學到的是「有雪就是狼」,換個背景就失效,但光看準確率看不出來
  3. 除錯成本高:模型預測錯了,工程師不知道從哪裡找問題,只能猜
  4. 法規無法稽核:醫療、金融等場景需要解釋模型為什麼做出某個判斷,但無視覺化工具時完全無法說明
  5. 信任建立困難:業主和醫生不願意信任一個「不知道在看什麼」的黑盒模型,推廣阻力大
04 解法

顯著性圖怎麼標示出影響區域

工程師把顯著性圖套用在「中華電信」的辨識模型上,對林先生的照片分析:

顯著性圖的基本原理:計算輸出預測值對輸入每個像素的梯度(斜率)。梯度越大,代表這個像素對預測結果影響越大;梯度越小,代表這個像素對結果幾乎沒影響。

把所有像素的梯度值轉成顏色深淺,疊加在原始照片上,就得到一張熱力圖:亮紅色區域是模型高度關注的地方,藍色區域是幾乎不在乎的地方。

如果熱力圖的高亮區域集中在林先生的臉部,說明模型學到了臉部特徵;如果高亮區域出現在背景的標誌牌上,說明模型學到了錯誤的東西,需要重新檢視訓練資料。

這就是選項 B 說的:標示輸入資料中對單一預測結果影響較大的區域或部分

技術版:顯著性圖在深度學習可解釋性中的位置

顯著性圖屬於哪個領域:顯著性圖是基於梯度的可解釋 AI(Gradient-based XAI)技術,屬於後處理局部解釋方法。它特別適用於影像模型,因為輸出是和輸入同尺寸的熱力圖,視覺直觀。

常見的顯著性圖方法:原始 Saliency Map(用梯度直接算)、Grad-CAM(用最後一個卷積層的梯度,更平滑)、Integrated Gradients(把從全黑到原圖的梯度積分,理論上更準確)。三者各有優缺點,Grad-CAM 是目前最常用的。

顯著性圖的局限:顯著性圖顯示「模型看哪裡」,但不代表人類看那裡也會做出相同判斷。有時顯著性圖顯示正確區域,但模型的判斷邏輯其實是偶然的;有時顯著性圖看起來合理,但模型其實是在利用偽關聯。顯著性圖是輔助分析工具,不是最終保證。

為什麼出題者要考這題:深度學習模型的可解釋性是 AI 應用規劃師必須了解的知識,尤其在醫療影像、工業視覺等場景中,了解模型「看什麼做決策」是驗證模型可靠性的重要步驟。

05 陷阱

為什麼其他選項是錯的

A量化各輸入特徵對模型整體預測準確度的平均影響程度

字面在說什麼

分析哪些特徵對模型整體的準確率影響最大,做全局的特徵重要性排名。

為什麼不對

顯著性圖是針對「單一預測」的局部解釋,不是分析整體準確率的全局工具。「量化整體影響程度」描述的更像是全局特徵重要性(Global Feature Importance),而不是顯著性圖。

誰會選錯

以為顯著性圖是衡量特徵對整體模型的影響,而不是針對個別圖片的解釋工具的人。顯著性圖每次分析的是一張圖片的一次預測,不是整個資料集的統計。

C評估在不同模型參數設定下,預測結果的穩定性變化

字面在說什麼

測試模型參數怎麼影響預測的穩定性,比如學習率不同時模型結果差多少。

為什麼不對

這描述的是超參數調整(Hyperparameter Tuning)或模型穩定性分析,與顯著性圖完全無關。顯著性圖是針對已訓練好的模型,解釋它的單次預測,不是比較不同模型參數設定下的行為差異。

誰會選錯

把「顯著性」誤解為「顯著差異」(統計顯著性)的人。Saliency Map 的「顯著性」是指對預測結果的重要程度,不是統計學上的顯著性。

D比較不同模型架構在測試資料上的泛化能力差異

字面在說什麼

比較 CNN 和 ViT 等不同架構在新資料上的泛化表現。

為什麼不對

這是模型選擇(Model Selection)或泛化能力評估的工作,通常用測試集準確率、F1 分數等評估指標來做,不是顯著性圖的用途。顯著性圖是解釋一個已選定模型的行為,不是比較多個模型的能力。

誰會選錯

以為「研究人員分析模型行為」就是在比較不同模型的人。分析模型行為有很多方式,顯著性圖的核心是「視覺化這個特定模型的注意力」,不是跨模型比較。

06 變形

同個考點下次怎麼變形

變形 1

Grad-CAM 和原始 Saliency Map 最主要的差別是什麼?

直覺

都是顯著性圖,差在哪裡?

答案

原始 Saliency Map 計算每個像素對輸出的梯度,細節豐富但容易產生雜訊(高頻噪點)。Grad-CAM 使用最後一個卷積層的特徵圖梯度,產生解析度較低但更平滑、語意更清晰的熱力圖,更容易讓人理解模型在看哪個「物件區域」。Grad-CAM 是目前最廣泛使用的版本。

變形 2

顯著性圖揭示模型在看「錯誤的地方」,這時應該怎麼處理?

直覺

發現問題之後呢?

答案

這通常代表訓練資料有偏差(Spurious Correlation,偽相關性)。解決方式包含:清理訓練資料(移除偏差來源)、資料增強(讓模型見識更多背景變化)、使用注意力正則化(懲罰模型關注不相關區域)。顯著性圖的診斷價值在這裡,它讓工程師知道要修的是資料還是模型架構。

變形 3

顯著性圖在醫療影像診斷中有什麼具體應用?

直覺

醫療 AI 說「這是腫瘤」,顯著性圖能幫什麼忙?

答案

放射科醫生可以用顯著性圖確認:AI 判斷「惡性腫瘤」時,高亮區域是否確實在腫瘤的位置,而不是因為影像角落的標記或設備製造商的 Logo 而誤判。如果高亮區域和醫生的臨床判斷一致,說明模型可靠;如果高亮在不相關的位置,醫生就會質疑這個預測,避免盲目採用 AI 建議。

變形 4

顯著性圖屬於「局部解釋」還是「全局解釋」?

直覺

顯著性圖是看整個模型,還是看單一預測?

答案

顯著性圖屬於局部解釋(Local Explanation):每張顯著性圖只對應一張輸入圖片的一次預測,告訴你「這次預測」模型關注哪裡。如果要了解模型整體行為,需要對大量樣本的顯著性圖做統計分析,那才能得出全局結論。

變形 5

顯著性圖只適用於影像資料嗎?

直覺

顯著性圖看起來是圖,一定是影像用的?

答案

不是。顯著性圖的概念可以擴展到文字(哪些詞對這次分類最重要)和時序資料(哪個時間點的數值對預測貢獻最大)。在文字上的應用通常稱為 Attention Visualization 或 Token Importance,呈現方式是文字標色而不是影像熱力圖,但核心原理相同。

07 延伸

想再往下看,這 5 個

出處

iPAS 經濟部產業人才能力鑑定 ・ 115 年第一次 iPAS AI 應用規劃師 初級 科目一 人工智慧基礎概論 第 29 題

查看官方原文 PDF