資料前處理(Data Preprocessing)是什麼?

資料前處理是指在將原始資料用於機器學習模型之前,對其進行清理、轉換和整合的過程,以提高模型效能和準確性。|本頁含完整原理、應用場景、iPAS 考試重點與 3 個常見問答。

資料前處理(Data Preprocessing)是什麼? 機器學習資料處理

你有沒有在你拿到一份很亂的原始資料,準備丟進模型前時,還在想這件事到底該怎麼看?

把它想成先洗乾淨、排整齊,再交給模型。 缺值、亂碼、格式不一致和極端值,都可能讓模型學壞。 前處理做得好,模型通常更穩,訓練也更順。

你可以把它想成一個把抽象概念拉回日常判斷的提示,先知道它解決什麼問題,再看技術細節。

容易混淆

feature-engineering vs 特徵工程:前處理是把原始資料整理乾淨,讓它「能用」;特徵工程是在乾淨資料上創造新的、更有用的「特徵」,讓模型「更好用」。 常見混淆:資料前處理 vs feature-engineering 前處理是把資料整理好,特徵工程是在乾淨資料上做出更有用的特徵。

記住這句就好

先整理好,再讓模型學。

實際案例

缺值清理 把空白欄位補值或標記,避免模型直接報錯。 數值縮放 把收入、年齡和次數放到比較可比的尺度。

算法與應用

  1. 前處理包括清理、轉換、整合和縮放,不只是把髒資料刪掉。
  2. 這一步會直接影響後面的特徵工程和模型表現。
  3. 不同模型對前處理敏感度不同,但完全不處理通常風險更大。

情境判斷

Q1: 資料有缺值、格式亂七八糟,先做什麼?

先做資料前處理,整理到模型能接受的樣子。

Q2: 前處理做好後就不用再看資料了嗎?

不是,資料品質還是要持續檢查,因為新資料可能再次變亂。

常見問題

為什麼需要資料前處理?

原始資料通常包含缺失值、異常值、不一致的格式以及不相關的資訊,這些都會影響模型的效能。資料前處理可以將原始資料轉換成乾淨、一致且適合模型訓練的格式,從而提高模型的準確性和效率。

有哪些常用的資料前處理方法?

常用的資料前處理方法包括資料清理(處理缺失值、異常值和重複值)、資料轉換(將資料轉換成適合模型訓練的格式)、資料縮放(將數值特徵縮放到相同的範圍內)、資料降維(減少資料的維度)和資料整合(將來自不同來源的資料整合到一起)。

如何評估資料前處理的效果?

可以使用交叉驗證或獨立測試集等方法來評估資料前處理的效果。如果資料前處理確實提高了模型的效能,則說明其是有效的。如果資料前處理反而降低了模型的效能,則需要重新評估和調整前處理方法。