殘差網路(Residual Network)是什麼?

殘差網路 (ResNet) 是一種深度神經網路架構,透過引入殘差連接來解決深度網路的梯度消失問題,允許訓練非常深的網路。|本頁含完整原理、應用場景、iPAS 考試重點與 3 個常見問答。

殘差網路(Residual Network)是什麼? 深度學習神經網路

你有沒有覺得,模型越堆越深,結果反而越難訓練?

你可以把殘差網路想成幫模型多留一條捷徑,讓資訊不用每次都從頭繞遠路。

它重要是因為深度網路一旦變深,很容易出現梯度消失或訓練變差,殘差連接就是為了解這個問題。

你可以把它想成一個把抽象概念拉回日常判斷的提示,先知道它解決什麼問題,再看技術細節。

容易混淆

殘差網路 vs 一般深度網路

殘差網路多了跳接或捷徑 一般深度網路只是一層接一層往下堆 最關鍵的區別是有沒有 identity shortcut。

殘差網路 vs DenseNet

殘差網路是加上殘差,保留原輸入加一點修正 DenseNet 是把前面特徵一路串接下去 最關鍵的區別是相加還是串接。

記住這句就好

深網路不好訓,就先幫它開一條捷徑。

實際案例

影像分類 把更深的 CNN 變成 ResNet 後,模型通常更容易訓練,也更能抓到複雜特徵。

醫學影像 在 X 光或病理切片任務裡,殘差網路常被拿來當強力基準模型。

算法與應用

殘差塊學的是 F(x) + x,而不是每一層都硬學完整映射,這讓優化更穩。 當層數變多時,捷徑能讓梯度比較容易回傳,減少訓練退化。 殘差網路不是萬能,但它把「做深」這件事變得實際可行。

情境判斷

Q1(直覺題): 如果一個深網路加了跳接,訓練明顯更穩,這通常在解什麼問題?

多半是在解梯度消失或深層訓練退化。

Q2(判斷題): 殘差連接代表模型一定會更準嗎?

不一定。它主要是讓深網路更好訓練,最後準不準還要看資料、架構和調參。

常見問題

為什麼殘差連接能幫助訓練?

A:因為梯度可以透過捷徑直接回傳,不必完全依賴每一層都學得很好。

ResNet 越深越好嗎?

A:不一定,太深也可能過擬合或訓練成本過高。

殘差網路和普通 CNN 差在哪?

A:重點差在殘差連接,這讓深度增加時比較不容易訓練崩掉。