貝氏最佳化 是什麼？
Bayesian Optimization — 貝氏最佳化 的完整解釋
貝氏最佳化是一種用於最佳化黑盒函數的演算法，它使用貝氏模型來建立目標函數的代理模型，並利用該模型來選擇下一個要評估的點，以在最少的迭代次數內找到最佳解。
容易混淆
貝氏最佳化 vs 網格搜尋？ 貝氏最佳化：用代理模型挑下一個最值得試的點 網格搜尋：把參數空間整齊掃過去 最關鍵的區別：前者聰明挑點，後者是全域粗掃
貝氏最佳化 vs 隨機搜尋？ 貝氏最佳化：每次都會更新對目標函數的認識 隨機搜尋：每次都隨機抽參數 最關鍵的區別：BO 會利用過去結果，隨機搜尋不會
代理模型 vs 目標函數？ 代理模型：用來近似昂貴目標函數 目標函數：真正想最大化或最小化的東西 最關鍵的區別：代理模型是估計器，目標函數才是本體
記住這句就好
先學哪裡可能好，再去試哪裡
實際案例
模型調參 訓練一次要幾小時時，用貝氏最佳化比亂試超參數更有效率
實驗配方 材料實驗每次成本很高，研究者會先用少量試驗推估下一個更可能成功的配方
算法與應用
重點 你要看什麼 為什麼重要 代理模型 近似目標函數 讓系統用少量試驗學到大致地形 採集函數 決定下一個試驗點 平衡探索與利用 優勢 試次少、效率高 很適合昂貴黑盒函數
情境判斷
Q1：如果你只能測 20 次參數組合，BO 有沒有可能比網格搜尋更合適？ → 很可能更合適，因為它會把試驗次數花在更值得的地方
Q2：如果目標函數很平滑、維度很低，而且評估很便宜，BO 還一定是首選嗎？ → 不一定，這時簡單搜尋法也可能已經夠用
相關術語
常見問題
貝氏最佳化一定用高斯過程嗎？
不一定，隨機森林或其他代理模型也可以。
它適合高維參數嗎？
高維時通常會變難，因為代理模型與搜尋空間都更複雜。
它和強化學習是一樣的嗎？
不是，兩者都會做序列決策，但貝氏最佳化是在找最佳參數點。