你有沒有覺得,模型越堆越深,結果反而越難訓練?
你可以把殘差網路想成幫模型多留一條捷徑,讓資訊不用每次都從頭繞遠路。
它重要是因為深度網路一旦變深,很容易出現梯度消失或訓練變差,殘差連接就是為了解這個問題。
你可以把它想成一個把抽象概念拉回日常判斷的提示,先知道它解決什麼問題,再看技術細節。
容易混淆
殘差網路 vs 一般深度網路
殘差網路多了跳接或捷徑 一般深度網路只是一層接一層往下堆 最關鍵的區別是有沒有 identity shortcut。
殘差網路 vs DenseNet
殘差網路是加上殘差,保留原輸入加一點修正 DenseNet 是把前面特徵一路串接下去 最關鍵的區別是相加還是串接。
記住這句就好
深網路不好訓,就先幫它開一條捷徑。
實際案例
影像分類 把更深的 CNN 變成 ResNet 後,模型通常更容易訓練,也更能抓到複雜特徵。
醫學影像 在 X 光或病理切片任務裡,殘差網路常被拿來當強力基準模型。
算法與應用
殘差塊學的是 F(x) + x,而不是每一層都硬學完整映射,這讓優化更穩。 當層數變多時,捷徑能讓梯度比較容易回傳,減少訓練退化。 殘差網路不是萬能,但它把「做深」這件事變得實際可行。
情境判斷
Q1(直覺題): 如果一個深網路加了跳接,訓練明顯更穩,這通常在解什麼問題?
Q2(判斷題): 殘差連接代表模型一定會更準嗎?
常見問題
為什麼殘差連接能幫助訓練?
A:因為梯度可以透過捷徑直接回傳,不必完全依賴每一層都學得很好。
ResNet 越深越好嗎?
A:不一定,太深也可能過擬合或訓練成本過高。
殘差網路和普通 CNN 差在哪?
A:重點差在殘差連接,這讓深度增加時比較不容易訓練崩掉。