Adam optimization algorithm

前言

Adaptive Moment Estimation。

內容

• Adam optimization algorithm

• 優點

  • 極少數的優化算法可以被廣泛應用在不同的領域。

• 公式分析

  • 將Momentum跟RMSprop兩種優化算法相結合。
  • V: Momentum的加權平均 S: RMSprop的加權平均。
  • 每一次Mini-batch時，都要同時更新Vdw,Vdb,Sdw,Sdb。
  • 對V,S都進行bias Correction的處理。
  • 最後將V,S融合在最後的公式來更新參數。

• Hyperparameters choice:

• 可調動參數

  • 除了alpha(learning rate)比較會去動之外，其他幾乎都是利用default就可以了。

該學到的

• Adam是如何融合Momentum跟RMSprop。