Batch Norm at test time

前言

如何也在測試時也進行Batch Norm?

內容

• Batch Norm at test time

• 因為測試時，每次都是單個樣本開始進行測試，也就是m = 1，那最左上放兩個公式其實就沒有意義了。
• 將訓練中，收集所有層在不同樣本下的均值跟方差都做指數加權平均，最後產生的唯一的均值跟方差，把這兩個值直接用在測試中。

該學到的

• 如何在測試中進行Batch Norm。