Using an appropriate scale to pick hyperparameters
前言
如何替不同的超參數選擇合理的範圍，好在這個範圍內進行隨機的挑選。
內容
Picking hyperparameters at random
- 適合uniform scale隨機選擇的超參數
- 神經元個數，隱藏層個數。
Appropriate scale for hyperparameters
- 適合log scale隨機選擇的超參數
- learning rate。
Hyperparameters for exponentially weighted averages
- 適合權重平均隨機選擇的超參數
- beta。
該學到的
- uniform scale, log scale, 權重平均。