Why Convolutions?

前言

為什麼要用convolution，主要可以節省計算量? 為什麼可以節省計算量?

內容

• Why convolutions

  

• 做了一層convolution，得到28x28x6 = 156 parameters
• fully-connected

  • 32x32x3 = 3072, 28x28x6 = 4704
  • 3072 x 4704 = 14M

• 節省大量的參數

• Parameter sharing:

  • 參數來自於filter，但每次都是共用同個filter在原圖中的不同區域進行掃描。

• sparsity of connection:

  • 每次都只是跟原圖中filter框住的區域進行計算，而非都跟原圖的所有區域一起計算。

• Putting it together

  

• 正向得到cost J。
• 算出Loss。
• 利用gradient descent來優化parameter降低J。
• 不停地進行反覆。

該學到的

• convolution的優勢是什麼?
• 什麼原因導致convolution有這樣的優勢。