凸優化(Convex Optimization)是什麼?

凸優化是一種數學優化方法,旨在尋找凸函數在凸集合上的最小值。其優點是局部最小值即為全局最小值,易於求解。|本頁含完整原理、應用場景、iPAS 考試重點與 3 個常見問答。

凸優化(Convex Optimization)是什麼? 最佳化機器學習

你有沒有想過,為什麼有些最佳化問題比較好解?

你可以把凸優化想成「地形很單純的找最低點」:你往下走時,不太容易被假的小山谷騙住,找到的解通常就是全局最佳。

它很重要,因為很多機器學習和工程問題都要靠最佳化來找答案,凸優化因為穩定、可解,成了很多方法的基礎。

容易混淆

凸優化 vs 非凸優化 vs 一般最小化

凸優化:地形單純,局部最小值就是全局最小值

非凸優化:地形複雜,可能有很多假谷底

一般最小化:只是一個總稱,不一定保證好解

最關鍵的區別:凸優化能保證找到的局部解就是全局解。

記住這句就好

地形是凸的,找到小谷底就放心。

實際案例

廣告預算分配

前:想把預算切到最好,但搜尋空間太亂

後:把問題寫成凸優化,較容易穩定找到最佳配置

模型訓練中的正則化

前:損失函數不好調,參數更新常卡住

後:加入凸形式的目標和約束,讓求解更穩定

算法與應用

凸優化常搭配梯度下降、目標函數、正則化與損失函數一起看

很多線性模型、支援向量機和資源配置問題,都會受惠於凸結構

它的價值在於可解性和可分析性,讓工程上比較知道會收斂到哪裡

情境判斷

Q1(直覺題): 如果一個問題是凸的,是不是通常比較好解?

→ 是,通常更容易穩定找到全局最優。

Q2(判斷題): 只要用了梯度下降,就代表你在做凸優化嗎?

→ 不一定。梯度下降可以用在凸問題,也可以用在非凸問題。

常見問題

凸優化一定有解析解嗎?

不一定,但通常比較容易數值求解。

機器學習都屬於凸優化嗎?

不是,很多深度學習問題其實是非凸的。

為什麼凸優化這麼常見?

因為它穩定、可證明、可預測,工程上很實用。