Learning rate decay
前言
如何透過Learning rate decay來加速學習? 我知道這是一句很矛盾的話。
內容
Learning rate decay
- 因為mini-batch的緣故，導致在逼近最佳值的路徑會不斷出現波動。
- 如果一開始1earning rate設定大，前期逼近最佳值的速度快，但後期會因爲波動的問題很難逼近最佳值。
- 如果一開始1earning rate設定小，雖然可以解決後期波動的問題，但學習速度也變慢。
- 所以希望1earning rate一開始是大，後來逐漸變小。
- 1 epoch = 完整訓練一遍所有的樣本。
- 透過公式，隨著epoch的次數增加，會不斷調降1earning rate。
- 可調參數: 一開始的learning rate的大小，decay_rate。
Other learning rate decay methods
- 其他learning decay的公式。