Fitting Batch Norm into a neural network

前言

如何將batch norm應用在神經網路之中。

內容

• Adding Batch Norm to a network

• 針對每一層隱藏層的輸入部分都進行batch norm的處理。
• gamma, beta，跟w,b一樣，在gradient descent中會被更新。

• Working with mini-batches

• 每一次mini-batche都會進行一次正向跟反向的傳遞。
• b是可以被忽略的。

  • 在每次的norm處理中，平均值會是0，也就是說b變成0，因此可以被忽略。

• Implementing gradient descent

• batch norm的實作

  • 對每一次的mini-batch計算正向傳遞。
  • 然後進行反向傳遞，同時更新gamma, beta,w,b。

該學到的

• 如何在神經網路中實作batch norm。