S 型函數 是什麼?

Sigmoid Function — S 型函數 的完整解釋

S 型函數能將任何數值壓縮至 0 到 1 之間,常用於二元分類模型,將輸出結果轉換為機率

容易混淆

ReLU 函數 ReLU 像個「開關」,小於零就關掉(變零),大於零就直接傳遞。 Sigmoid 則像個「漸進式開關」,它會把所有輸入都平滑地壓縮到 0 到 1 之間,特別適合用來表示機率,因為它的輸出總是在這個範圍內。

最關鍵的區別:先看它是在比意思、比結構,還是在做任務輸出。

記住這句就好

把分數壓到 0 到 1 之間,就先想到 Sigmoid。

實際案例

垃圾郵件分類會輸出一個介於 0 和 1 的值,表示是垃圾信的機率。 LSTM 的 gate 也常用 Sigmoid 來控制資訊要不要放行。

算法與應用

它把輸入映射成 S 形曲線,輸出永遠落在 0 到 1 之間。 和 Softmax 不同,Sigmoid 更適合二分類或多標籤的獨立判斷。

情境判斷

Q1(直覺題): 如果模型只要判斷是或不是,Sigmoid 適合嗎?

→ 適合。二分類很常直接用它做輸出。

Q2(判斷題): 如果你要在很多類別中選一個,還會優先用 Sigmoid 嗎?

→ 通常不會。看情況,多選一時更常用 Softmax。

相關術語

常見問題

S 型函數的輸出值一定是介於 0 和 1 之間嗎?

是的,S 型函數的輸出值永遠介於 0 和 1 之間。這是由於其數學公式的特性所決定的。無論輸入值有多大或多小,經過 S 型函數的轉換,都會被壓縮到這個範圍內。

S 型函數會被其他函數取代嗎?

在深度學習領域,S 型函數已經逐漸被 ReLU 等其他激活函數所取代,因為 ReLU 在緩解梯度消失問題和提高計算效率方面表現更好。但 S 型函數在某些特定應用場景,例如二元分類問題,仍然有其價值。

S 型函數在多分類問題中如何應用?

在多分類問題中,通常會使用 Softmax 函數,而不是直接使用 S 型函數。Softmax 函數將多個輸出值轉換為機率分佈,使得所有類別的機率之和等於 1。S 型函數則更適合於二元分類問題。