哪種 AI 應用最需要可解釋性?
下列哪一種 AI 應用情境中,模型的可解釋性(Explainability)最為關鍵?
AI 模型給出結果時,有些場景你只需要知道「輸出是什麼」,有些場景你更需要知道「為什麼這樣判斷」,也就是模型的可解釋性。
題目給了四個不同的 AI 應用場景,每個場景對「AI 為什麼這樣判斷」的需求程度不一樣。
問你:在哪一種情境中,模型的可解釋性是最為關鍵的要求?
一句話總結
可解釋性在醫院導入 AI 模型分析病患影像並給出腫瘤惡性可能性,作為臨床醫師診斷依據的情境中最為關鍵:涉及人命安危的醫療決策,醫師必須能理解 AI 判斷的依據,才能負責任地採納或質疑模型的結果。
先感受問題:AI 說「這是惡性腫瘤」,你直接開刀嗎?
「台大醫院影像科」引進了一套 AI 輔助診斷系統。AI 分析完病患的 CT 影像後,螢幕上顯示:「惡性可能性 87%」。
主治醫師陳醫師看著報告,心裡出現了問題:
- AI 看了哪個區塊才說 87%?是左側陰影?還是右側的密度變化?
- 這個判斷和其他惡性腫瘤的典型特徵相符嗎,還是 AI 是靠一個不相關的「捷徑特徵」下判斷的?
- 如果我決定手術,我要能向病患和家屬解釋為什麼,而不只是「AI 說的」。
沒有可解釋性,醫師無法驗證 AI 的判斷,也無法在 AI 犯錯時察覺。這不只是信任問題,而是醫療責任問題。
只有預測結果沒有解釋,在醫療場景會怎樣?
- 醫師無法負責任地採納 AI 建議:醫療決策的責任在醫師,不在 AI。如果 AI 給出判斷但無法解釋,醫師既無法驗證其可靠性,也無法在法律或倫理上為「因為 AI 說的所以開刀」辯護。
- 無法偵測 AI 的捷徑學習(Shortcut Learning):AI 可能學到「CT 掃描設備的型號」和「惡性腫瘤的關聯」(因為某醫院的掃描機主要用於癌症篩查),而不是真正的病理特徵。沒有可解釋性工具,這種錯誤根本不會被發現。
- 病患知情同意受損:病患有權知道治療決策的依據。「因為 AI 模型說惡性可能性 87%,所以建議手術」,這樣的解釋對病患而言是不足的。
- 監管合規風險:歐盟 AI 法案等法規要求高風險 AI(包含醫療 AI)必須具備可解釋性和透明度,否則不能合法部署。
- 系統性偏差無法被識別:若模型對特定人群(年齡、性別、族裔)有系統性誤判,只有可解釋性工具才能協助找出根本原因並修正。
可解釋 AI 怎麼在醫療場景發揮作用
台大醫院的 AI 系統加入了 Grad-CAM(梯度加權類激活圖)技術,讓每次判斷都疊加一張熱力圖,顯示模型「重點關注了影像的哪個區域」。
陳醫師看到熱力圖集中在左下葉的結節區域,和她臨床上看到的病理特徵一致。她有信心採納這個建議,並能向病患解釋:「AI 和我都注意到這個區域的密度異常,符合惡性腫瘤的影像特徵。」
可解釋性讓 AI 成為醫師的「有憑有據的助手」,而不是一個無從驗證的黑箱神諭。
這就是選項 C 講的:醫院導入 AI 模型分析病患影像並給出腫瘤惡性可能性,作為臨床醫師診斷依據,是最需要可解釋性的場景。
技術版:可解釋 AI 的方法與高風險場景的監管要求
可解釋人工智慧(Explainable AI,XAI)是 AI 研究的重要分支,目標是讓黑箱模型的決策過程變得可被理解和驗證。
在 AI 領域的位置:XAI 位於 AI 系統的部署與監控階段,是負責任 AI(Responsible AI)框架的核心要素。在高風險場景(醫療、法律、金融信用)中,可解釋性是部署的必要條件,而非可選功能。
主要可解釋性技術:
- SHAP(Shapley Additive Explanations):從賽局理論推導,為每個特徵計算其對預測結果的貢獻值,適合表格型資料。
- LIME(Local Interpretable Model-Agnostic Explanations):在預測點周圍用簡單線性模型近似黑箱模型的局部行為,對單筆預測進行解釋。
- Grad-CAM:用梯度資訊對卷積神經網路的特徵圖加權,生成熱力圖顯示影像中「哪個區域對分類最重要」,廣泛用於醫療影像。
- 注意力可視化(Attention Visualization):Transformer 模型的注意力權重可視化,顯示模型在做決策時「注意了文字的哪個部分」。
為什麼出題者要考這題:可解釋性是 AI 倫理的核心議題,也是實際部署高風險 AI 的必要條件。判斷哪個場景最需要可解釋性,考驗應試者是否理解「AI 決策影響的嚴重性 → 可解釋性需求的迫切性」這個邏輯。
為什麼其他選項是錯的
A電商平台利用深度學習模型預測用戶購買時間
預測用戶下次購買時間,用來決定什麼時候發推播通知,讓行銷更精準。
推播行銷的後果是輕微的:最壞情況是通知發錯時間,用戶沒點擊,廣告效果差一點。不涉及人身安危、重大財務損失或法律責任。電商可以容忍模型「說不清楚」,因為結果是可以量化、快速迭代的(A/B 測試就能驗證),不需要逐次解釋 AI 的推理。
知道「深度學習」是黑箱模型就覺得需要解釋,但忽略了「可解釋性的必要程度由決策後果決定,而非由模型複雜度決定」。
B新創公司使用機器學習自動調整廣告出價策略
廣告出價策略自動化,機器決定每次競標要出多少錢,優化點擊轉換率。
廣告出價的後果是商業損益,不是人命。即使 AI 出價策略完全是黑箱,公司可以透過觀察 ROI 指標判斷策略好不好,不需要知道每一次出價決策「為什麼」。商業場景通常接受黑箱優化,只要結果可測量。
認為「涉及錢的決策就需要可解釋性」的人。可解釋性的核心不是「金額大小」,而是「決策不透明會帶來難以修復的傷害」,廣告出價的後果可以快速修正,醫療診斷的後果可能無法回頭。
D銀行導入 AI 模型預測客戶流失率並推薦優惠方案
用 AI 預測哪些客戶可能離開,然後主動提供優惠留住他們。
客戶流失預測的後果是推薦或不推薦優惠,不直接影響客戶的財務安危或人身健康。即使 AI 判斷錯了(對不會流失的客戶發優惠,或漏掉了要流失的客戶),後果相對可修復。注意:如果 AI 用於信用評分、貸款拒絕決策,那可解釋性要求就大幅提高;本選項只是「優惠推薦」,屬於較低風險情境。
認為「銀行是高度監管行業,一定需要可解釋性」的人。是的,銀行有監管要求,但本選項的 AI 用途是行銷優惠推薦(低風險),而不是信用評分或貸款決策(高風險)。要根據具體用途判斷,不能以「行業」為準。
同個考點下次怎麼變形
可解釋性(Explainability)和可解讀性(Interpretability)有什麼差別?
這兩個詞看起來很像,考試有時候會互換使用。
可解讀性(Interpretability):模型結構本身就讓人容易理解,例如決策樹,你可以直接看規則。可解釋性(Explainability):黑箱模型加上事後解釋工具(如 SHAP、LIME、Grad-CAM),讓黑箱變得可以被解釋。前者是「本來就透明」,後者是「事後加透明」。
為什麼深度學習模型通常被稱為「黑箱」?
模型的程式碼是公開的,為什麼還說它是黑箱?
深度學習模型有數百萬個參數,這些參數的組合方式讓任何單一決策的推理路徑幾乎無法直接追蹤。「知道程式碼怎麼寫的」不等於「能解釋為什麼這個特定輸入得到這個特定輸出」,就像你知道人腦的神經元結構,但無法解釋一個人為什麼喜歡某首歌。
高可解釋性的模型(如決策樹)在醫療場景是否總是比深度學習更好?
如果決策樹讓人能直接看懂,醫院是不是應該直接用決策樹就好?
不一定。醫療影像分析(腫瘤偵測、眼底病變)中,深度學習的準確率遠超決策樹。實務上的做法是用深度學習提升效能,再加上可解釋性工具(如 Grad-CAM)來彌補透明度不足。準確率和可解釋性之間的取捨,要根據具體任務的複雜度和風險來決定。
SHAP 和 LIME 在可解釋性上各自的局限是什麼?
既然 SHAP 和 LIME 這麼好用,為什麼可解釋性問題還沒解決?
SHAP 計算精確但計算成本高,對大型模型可能需要近似計算,且結果依賴於「特徵獨立性」假設,高相關特徵的解釋可能失準。LIME 是局部近似,不同隨機樣本可能給出不同解釋,穩定性不足。兩者都只能解釋「單筆預測」,無法給出整體模型行為的系統性理解。
歐盟 AI 法案對高風險 AI 的可解釋性有什麼要求?
可解釋性是技術要求,為什麼法律會規定?
歐盟 AI 法案(EU AI Act)將醫療、法律、教育、就業等涉及基本權利的 AI 應用列為「高風險 AI」,要求這類系統必須具備透明度(Transparency)和可解釋性,讓受影響的個人能夠理解和質疑 AI 的決策。這是法律層面的「被解釋的權利」,不符合要求的系統不能在歐盟市場部署。
想再往下看,這 5 個
- 可解釋人工智慧(Explainable AI)本題核心,讓 AI 模型的決策依據可以被人類理解和驗證,是高風險場景部署的必要條件。
- SHAP(Shapley Additive Explanations)最常用的可解釋性工具之一,為每個特徵計算其對單筆預測結果的貢獻值,廣泛應用於醫療和金融。
- Grad-CAM(梯度加權類激活圖)專為卷積神經網路設計的可解釋性技術,用熱力圖顯示影像中哪個區域對模型判斷貢獻最大,醫療影像分析的標配工具。
- 負責任 AI(Responsible AI)可解釋性是負責任 AI 框架的核心要素之一,確保 AI 決策對受影響的人透明、公平、可問責。
- 黑箱模型(Black-Box Model)輸入輸出清楚但內部推理不透明的 AI 模型,可解釋性工具是為了讓黑箱模型在高風險場景仍能被採用。