資料投毒攻擊(Data Poisoning)是什麼?

資料投毒攻擊是一種惡意攻擊,攻擊者將惡意或錯誤的資料注入到訓練資料集中,以影響機器學習模型的性能或行為。攻擊目標是使模型產生錯誤的預測或執行其他有害操作。|本頁含完整原理、應用場景、iPAS 考試重點與 3 個常見問答。

資料投毒攻擊(Data Poisoning)是什麼? 機器學習資訊安全

你有沒有在你懷疑有人把壞資料混進訓練集時,還在想這件事到底該怎麼看?

把它想成在模型上課前先塞錯答案。 攻擊者不是在模型上線後騙它,而是在訓練時悄悄改它學到的東西。 一旦污染資料,模型可能學到錯誤規則,後果會很難補。

你可以把它想成一個把抽象概念拉回日常判斷的提示,先知道它解決什麼問題,再看技術細節。

容易混淆

adversarial-attack vs 對抗式攻擊 (Adversarial Attack):投毒是在模型「訓練前」下毒,影響模型的學習過程;對抗式攻擊是在模型「部署後」給它看精心製作的假資料,騙它做出錯誤判斷。 常見混淆:資料投毒攻擊 vs adversarial-attack 投毒在訓練前下手,對抗式攻擊多在部署後騙模型。

記住這句就好

訓練前下毒,模型學歪。

實際案例

內容審核 惡意樣本混進資料後,模型可能把違規內容判成正常。 標籤翻轉 把正確類別偷偷改錯,讓模型學到反向關係。

算法與應用

  1. 投毒可發生在資料蒐集、標註或訓練前整理的任何階段。
  2. 防禦方式包含資料驗證、異常偵測、魯棒訓練和權限控管。
  3. 如果資料來源很多,血緣和版本管理會變得更重要。

情境判斷

Q1: 如果訓練資料突然混進異常樣本,最可能的風險是什麼?

模型學到錯誤規則,之後判斷會被帶偏。

Q2: 模型效果變差就一定是投毒嗎?

不一定,也可能是資料漂移、標註錯誤或前處理問題。

常見問題

資料投毒攻擊的目的是什麼?

資料投毒攻擊的目的是通過將惡意或錯誤的資料注入到機器學習模型的訓練資料集中,來影響模型的性能或行為。攻擊目標是使模型產生錯誤的預測或執行其他有害操作。

有哪些常見的資料投毒策略?

常見的資料投毒策略包括標籤翻轉(將一部分訓練資料的標籤翻轉)、後門注入(在訓練資料中注入帶有特定觸發器的資料)和噪聲注入(在訓練資料中注入隨機噪聲)。

有哪些方法可以防禦資料投毒攻擊?

防禦資料投毒攻擊的方法包括資料驗證(檢測和移除惡意資料)、魯棒學習(使用對投毒資料具有抵抗能力的算法)、異常偵測(檢測訓練資料中的異常資料)和模型監控(監控模型性能並及時採取措施)。