Normalizing inputs

前言

為何要對輸入值進行標準化?

內容

• Normalizing training sets

• (左1)

  • x1,x2的平均值不相同，且都不接近0。
  • x1分散很廣。

• (中1)

  • 進行平移，將平均值都化為0。

• (右1)

  • 替範圍進行限制到[-1,1]之間。

• 若替training set進行這樣的處理後，dev跟test set也是要有相同的處理。

• Why normalize inputs?

• 主要目的: 加速訓練。
• 為什麼 ？
• (左)沒進行標準化

  • 為了避免b軸的divergence，必須將learning rate必須設置較小，因此整體的學習效率也會比較慢。

• (右)進行標準化

  • learning rate可以設置較大，較不容易產生divergence，整體的學習效率也比較快。

該學到的

• 如何進行標準化?
• 為何要進行標準化?
• 是如何加速訓練?