Mini-batch gradient descent
前言
深度學習是個實驗科學，需要反覆實驗，不停的修正，所以我們希望可以快速看到實驗結果，Mini-batch gradient descent就是一種可以幫助我們快速看到實驗結果的方式。
內容
Batch vs. mini-batch gradient descent
- 假設樣本數是500萬，想看到損失值，就要把百萬的樣本都全部訓練一次，這樣的時間太漫長。
- 將全部樣本切割成5000份，每一份只有1000個樣本，跑完一份樣本，就產出一個損失值，這樣的時間就還可以接受。
該學到的
- 什麼是Mini-batch gradient descent。