The problem of local optima

前言

local optima的問題。

內容

• Local optima in neural networks

• 所有的參數跟loss J的組合，會形成很多碗型，在尋找最低的碗底(global optima)時，我們的模型有可能就陷入其他中高位置碗的底部(local optima)。
• local optima是淺層模型特有的，在深層模型中出現這種多個碗型的機率很低。
• 深層模型通常面對的是saddle point。

• Problem of plateaus

• saddle point其實並不會讓深層模型陷入所謂local optima而停止學習，最主要的問題是在plateaus(高原)問題，要從高處走到低處的階段很慢。
• 前面學的優化算法就是要加速這個階段的速度。

該學到的

• saddle point的問題？
• 優化算法到底幫助了什麼?