RMSprop
前言
Root Mean Square Prop，另外一種優化方式的演算法。
內容
RMSprop
- 與Momentum相似
- 都是利用Exponentially weighted averages來解決縱向的偏移的問題。
- 與Momentum差異
- Momentum只是單純用指數加權平均來更新參數。
- RMSprop是用指數加權平均的sqrt來更新參數(公式中分母的開根號)。
- 以w(x軸),b(y軸)，我們目標是b的變化幅度小，w的變化幅度大。
- 透過RMSprop的公式可以達到此目標。
該學到的
- RMSprope跟Momentum的差異處。