異常偵測 是什麼?
Anomaly Detection — 異常偵測 的完整解釋
異常偵測是指識別數據集中與預期模式顯著不同的數據點,這些異常點可能指示錯誤、欺詐或其他不尋常的事件。
容易混淆
異常偵測 vs 傳統分類
分類是把資料放進已知類別。
異常偵測是從正常資料裡找怪點。
最關鍵的區別:一個要已知標籤,一個常先沒有標籤。
異常偵測 vs 詐欺偵測
詐欺偵測是異常偵測的常見應用。
異常偵測的範圍更廣,包含設備故障、網路攻擊和資料錯誤。
最關鍵的區別:詐欺只是其中一種場景。
異常偵測 vs 資料漂移
資料漂移是資料分布變了。
異常偵測是找單筆或少數異常點。
最關鍵的區別:一個看整體變化,一個看局部怪點。
記住這句就好
在正常裡面找不正常,才是異常偵測。
實際案例
信用卡交易
如果凌晨突然出現一筆在陌生國家的大額交易,系統就會把它標成異常,提醒人工確認。
工廠感測器
機台溫度平常都在固定範圍,若某個感測器突然飆高,可能代表設備快壞了,這時就要提前處理。
算法與應用
常見方法
統計閾值、孤立森林、自編碼器、密度估計和一類分類,都是常見做法。
實務重點
異常很少見,所以資料不平衡通常很嚴重,光看準確率通常沒意義。
情境判斷
Q1(直覺題): 一堆正常交易裡突然出現一筆很大的陌生金額,這算什麼?
→ 異常,因為它明顯偏離正常模式。
Q2(判斷題): 只要模型把所有少見資料都當異常,就一定好嗎?
→ 不一定,這要看情況。若誤報太多,人工會被淹沒,真正的異常反而更難找。
相關術語
常見問題
異常偵測一定要有標籤嗎?
不一定,很多時候正是因為沒有足夠標籤才要用它。
異常偵測和監控有什麼關係?
監控是持續看資料,異常偵測是監控裡常用的分析方法。
異常不一定是壞事嗎?
對,少數情況下它也可能是新趨勢或新事件,所以要結合情境判斷。
怎麼評估異常偵測?
常看精確率、召回率、F1 和誤報率,因為異常很少,單看準確率很容易騙人。