ResNets

前言

ResNets是一個很深的模型，深模型容易產生gradient vanish, exploring，那ResNets是如何突破這樣的問題。

內容

• Residual block

  

• 突破點: skip connections，一層的輸出直接跳越多層到某一層。
• Residual block的組成:

  • 2個layer ＋ 1個skip connection。

• 主線運算計算
• short cut計算

  • input直接跳到下一層的Relu之前。

• Residual Network

  

• plain(沒有short cut)。
• 理論上，plain模型越大，training loss應該要下降，然而實際並沒有。

該學到的

• ResNets是如何構建深層模型。