你有沒有看過 AI 判斷一張圖後,特別想知道它到底在看哪裡?
你可以把 Grad-CAM 想成把模型注意的區域畫成熱圖。 它讓你看到哪些像素區域對分類結果影響最大,方便檢查模型是不是看對地方。
你可以把它想成一個把抽象概念拉回日常判斷的提示,先知道它解決什麼問題,再看技術細節。
容易混淆
Grad-CAM vs CAM CAM 要改模型結構 Grad-CAM 通常可以直接套用在現有模型上 最關鍵的區別是要不要改架構
Grad-CAM vs 顯著性地圖 顯著性地圖偏向看輸入對輸出的敏感程度 Grad-CAM 會結合梯度和最後卷積層資訊 最關鍵的區別是看敏感點,還是看類別相關區域
記住這句就好
看熱圖,不是看模型心情。
實際案例
醫療影像檢查 醫師用 Grad-CAM 檢查模型是不是把肺炎判斷建立在真正病灶上,而不是片子邊角的標記。
產品照片辨識 如果模型老是把品牌 logo 當成主體,Grad-CAM 就能讓你發現它偏看的位置,方便回頭修資料。
算法與應用
Grad-CAM 主要是從目標類別的梯度,回推到最後一層卷積特徵圖。 它提供的是粗粒度解釋,能幫忙除錯,但不代表模型真的只看那一塊。
情境判斷
Q1: 熱圖亮在背景上,這代表模型就一定錯了嗎? → 不一定,要看背景是否和類別本來就有關,像場景分類時背景也可能是訊號。
Q2: 你要確認模型是不是偷看水印,應該用什麼工具? → 可以先用 Grad-CAM 看它是否把注意力放在水印或角落標記上。
常見問題
Grad-CAM 只能用在圖像模型嗎?
它最常用在卷積式視覺模型上,但概念也能延伸到其他結構。
熱圖越亮就代表越重要嗎?
大致上是,但還要搭配類別和上下文一起看。
Grad-CAM 能完全解釋模型嗎?
不能,它只是局部可視化工具,不是完整因果證明。