Tuning process
前言
超參數的選擇跟調整，哪些超參數是需要被優先處理？
內容
Hyperparameters
- 超參數優先度分級:
- 第一級: learning rate
- 第二級: momentum beta
- 第三級: 隱藏層個數，神經元個數，學習綠的消減，batch-norm的size。
Try random values: Don’t use a grid
- 超參數組合調整時，要隨機組合，不要固定組合。
Coarse to fine
- 發現表現較佳的超參數所在區域，然後聚焦在更小的聚區，再隨機選擇超參數，訓練
該學到的
- 超參數的分級。
- 超參數的調整方式。