隨機搜尋 是什麼?
Random Search — 隨機搜尋 的完整解釋
隨機搜尋是一種超參數最佳化方法,它在預定義的超參數空間中隨機選擇參數組合,並評估其性能,以找到最佳的超參數配置。
容易混淆
隨機搜尋 vs 網格搜尋 網格搜尋會把每個參數切成固定格子慢慢試。 隨機搜尋是先隨機抽樣幾組來評估。 最關鍵的區別:一個全格掃,一個抽點試。
隨機搜尋 vs 貝氏最佳化 隨機搜尋不會根據前一次結果調整下一次抽樣。 貝氏最佳化會利用過去結果,挑更有希望的組合。 最關鍵的區別:一個單純抽樣,一個會學習方向。
隨機搜尋 vs 暴力搜尋 暴力搜尋想把所有組合都試完。 隨機搜尋只取一部分代表性組合。 最關鍵的區別:一個想全試,一個先試最有機會的區域。
記住這句就好
參數太多時,隨機抽樣常比整格掃更划算。
實際案例
深度學習調參 你要找學習率、批次大小和 dropout 的組合時,隨機搜尋能先快速試出大方向。 這比把每個值都硬排列組合更省時間。
樹模型最佳化 想調隨機森林或 XGBoost 的參數時,隨機搜尋常是第一輪很實用的做法。 它能先幫你縮小合理範圍。
算法與應用
隨機搜尋先定義超參數範圍,再從每個範圍中隨機抽值,跑訓練並比驗證分數。 在高維空間裡,它常比網格搜尋更有效,因為不是每個參數都同樣重要。 若你後面還想更精準,可以再接貝氏最佳化或手動細調。
情境判斷
Q1(直覺題): 你有五個超參數要調,每個都有很多可能值,先用哪種方法比較實際?
→ 先用隨機搜尋,因為它能更快覆蓋到不同區域。
Q2(判斷題): 如果你只想把所有組合都完整列出來,隨機搜尋還是最佳選擇嗎?
→ 不一定,因為那種需求比較像網格搜尋或暴力搜尋,隨機搜尋比較適合先找好區域。
相關術語
常見問題
隨機搜尋一定比網格搜尋好嗎?
不一定,但在參數很多的時候,隨機搜尋往往更有效率。
它適合所有任務嗎?
不一定,若每個參數都很敏感,或搜尋空間很小,網格搜尋也可能更直觀。
隨機搜尋只是隨便亂試嗎?
不是,它是有範圍、有評估標準的抽樣策略,不是毫無規劃地亂碰。