隨機搜尋(Random Search)是什麼?

隨機搜尋是一種超參數最佳化方法,它在預定義的超參數空間中隨機選擇參數組合,並評估其性能,以找到最佳的超參數配置。|本頁含完整原理、應用場景、iPAS 考試重點與 3 個常見問答。

隨機搜尋(Random Search)是什麼? 機器學習模型訓練

你在調模型參數時,會不會發現想試的組合太多,根本不可能一格一格掃完?

你可以把隨機搜尋想成在超參數空間裡先隨機抽一些點來試,再看哪個組合最好。 它的好處是簡單、便宜,尤其在參數很多的時候,常比硬掃整張表更有效率。

你可以把它想成一個把抽象概念拉回日常判斷的提示,先知道它解決什麼問題,再看技術細節。

容易混淆

隨機搜尋 vs 網格搜尋 網格搜尋會把每個參數切成固定格子慢慢試。 隨機搜尋是先隨機抽樣幾組來評估。 最關鍵的區別:一個全格掃,一個抽點試。

隨機搜尋 vs 貝氏最佳化 隨機搜尋不會根據前一次結果調整下一次抽樣。 貝氏最佳化會利用過去結果,挑更有希望的組合。 最關鍵的區別:一個單純抽樣,一個會學習方向。

隨機搜尋 vs 暴力搜尋 暴力搜尋想把所有組合都試完。 隨機搜尋只取一部分代表性組合。 最關鍵的區別:一個想全試,一個先試最有機會的區域。

記住這句就好

參數太多時,隨機抽樣常比整格掃更划算。

實際案例

深度學習調參 你要找學習率、批次大小和 dropout 的組合時,隨機搜尋能先快速試出大方向。 這比把每個值都硬排列組合更省時間。

樹模型最佳化 想調隨機森林或 XGBoost 的參數時,隨機搜尋常是第一輪很實用的做法。 它能先幫你縮小合理範圍。

算法與應用

隨機搜尋先定義超參數範圍,再從每個範圍中隨機抽值,跑訓練並比驗證分數。 在高維空間裡,它常比網格搜尋更有效,因為不是每個參數都同樣重要。 若你後面還想更精準,可以再接貝氏最佳化或手動細調。

情境判斷

Q1(直覺題): 你有五個超參數要調,每個都有很多可能值,先用哪種方法比較實際?

→ 先用隨機搜尋,因為它能更快覆蓋到不同區域。

Q2(判斷題): 如果你只想把所有組合都完整列出來,隨機搜尋還是最佳選擇嗎?

→ 不一定,因為那種需求比較像網格搜尋或暴力搜尋,隨機搜尋比較適合先找好區域。

常見問題

隨機搜尋一定比網格搜尋好嗎?

不一定,但在參數很多的時候,隨機搜尋往往更有效率。

它適合所有任務嗎?

不一定,若每個參數都很敏感,或搜尋空間很小,網格搜尋也可能更直觀。

隨機搜尋只是隨便亂試嗎?

不是,它是有範圍、有評估標準的抽樣策略,不是毫無規劃地亂碰。