資料品質監控 是什麼？
Data Quality Monitoring — 資料品質監控 的完整解釋
資料品質監控是指持續追蹤和評估資料的準確性、完整性、一致性、時效性和有效性，以確保資料符合預期標準。
容易混淆
data-cleaning vs 資料清洗：資料清洗是發現問題後「修復」資料；品質監控則是「預防」和「持續檢查」資料品質，確保問題在發生或變大前就被發現。 常見混淆：資料品質監控 vs data-cleaning 清洗是修已知問題，監控是持續找問題。
記住這句就好
不是修資料而已，而是一直看有沒有變壞。
實際案例
欄位完整率 每天看缺值比例有沒有突然上升。 異常值飆高 發現某個欄位的極端值變多，立刻通知資料團隊。
深入了解
- 常見指標有完整性、一致性、準確性、時效性和有效性。
- 監控比一次性清洗更重要，因為資料會持續進來。
- 搭配警報和血緣追蹤，才能真正把問題追到源頭。
情境判斷
Q1：資料有問題時，為什麼不能只靠事後修補？ → 因為問題會反覆出現，監控才能提早發現。 Q2：如果某欄位缺值率突然上升，先做什麼？ → 先查資料來源和管線，再決定要不要補值或暫停使用。
相關術語
常見問題
為什麼資料品質監控對AI專案很重要？
AI模型的效能高度依賴於訓練資料的品質。低品質的資料會導致模型偏差、不準確的預測和整體效能下降。資料品質監控確保AI模型使用乾淨、準確且具代表性的資料進行訓練，從而提高模型的可靠性和有效性。
如何選擇合適的資料品質指標？
選擇資料品質指標應基於業務目標和資料的使用方式。考慮資料的準確性、完整性、一致性、時效性和有效性。與業務利益相關者合作，確定對他們最重要的資料品質方面，並選擇可量化且可追蹤的指標。
資料品質監控的常見挑戰有哪些？
常見挑戰包括資料來源的多樣性、資料量的龐大、缺乏明確的資料品質標準、缺乏跨部門合作以及缺乏自動化工具。克服這些挑戰需要建立資料治理框架、定義明確的資料品質標準、加強跨部門合作並投資於自動化工具。