殘差網路 是什麼?

Residual Network — 殘差網路 的完整解釋

殘差網路 (ResNet) 是一種深度神經網路架構,透過引入殘差連接來解決深度網路的梯度消失問題,允許訓練非常深的網路。

容易混淆

殘差網路 vs 一般深度網路

殘差網路多了跳接或捷徑 一般深度網路只是一層接一層往下堆 最關鍵的區別是有沒有 identity shortcut。

殘差網路 vs DenseNet

殘差網路是加上殘差,保留原輸入加一點修正 DenseNet 是把前面特徵一路串接下去 最關鍵的區別是相加還是串接。

記住這句就好

深網路不好訓,就先幫它開一條捷徑。

實際案例

影像分類 把更深的 CNN 變成 ResNet 後,模型通常更容易訓練,也更能抓到複雜特徵。

醫學影像 在 X 光或病理切片任務裡,殘差網路常被拿來當強力基準模型。

算法與應用

殘差塊學的是 F(x) + x,而不是每一層都硬學完整映射,這讓優化更穩。 當層數變多時,捷徑能讓梯度比較容易回傳,減少訓練退化。 殘差網路不是萬能,但它把「做深」這件事變得實際可行。

情境判斷

Q1(直覺題):如果一個深網路加了跳接,訓練明顯更穩,這通常在解什麼問題?

→ 多半是在解梯度消失或深層訓練退化。

Q2(判斷題):殘差連接代表模型一定會更準嗎?

→ 不一定。它主要是讓深網路更好訓練,最後準不準還要看資料、架構和調參。

相關術語

常見問題

為什麼殘差連接能幫助訓練?

A:因為梯度可以透過捷徑直接回傳,不必完全依賴每一層都學得很好。

ResNet 越深越好嗎?

A:不一定,太深也可能過擬合或訓練成本過高。

殘差網路和普通 CNN 差在哪?

A:重點差在殘差連接,這讓深度增加時比較不容易訓練崩掉。