Normalizing activations in a network

前言

batch normalization的效用，實際是如何運作，以及程式碼的實作。

內容

• Normalizing inputs to speed up learning

• 效用

  • 可以更有效率的尋找最佳的超參數，加速模型的訓練。

• 實際的作法 - 對輸入進行標準化。

  • 對輸入層作正規化處理。
  • 對隱藏層的輸入也做相同的處理。

• Implementing Batch Norm

• 對隱藏層的輸入的z值進行標準化。
• 引入新參數的公式。

該學到的