Numerical approximation of gradients
前言
用來驗證反向傳播是否有正常的運作。
內容
Checking your derivative computation
- 手動計算slope
- 用+-的兩方向區間所計算出來的slope,會比只用+的單方向區間計算出來slope更加地準確。
- 兩方向誤差率 0.0001,單方向誤差率0.01,相差100倍。
- 精準度提高,但計算也相對耗時。
該學到的
- 如何進行Numerical approximation?
- 為何要進行Numerical approximation?