Gradient checking

前言

當模型訓練完成後，我們怎樣知道反向傳遞是否真的有正確的運作，找到最佳值。

內容

• Gradient check for a neural network

• 將所有的參數w,b都放入一個很大的vector1。
• 將實際得到參數的gradient放入另外一個很大的vector2。
• 利用Gradient checking來驗證vector1的gradient的確就是vector2

  • 首先，替vector1進行Numerical approximation產生一個vector3
  • 利用公式來計算vector3和vector2的誤差值。
  • 誤差值小於10^-7，表示vector2沒有問題。
  • 誤差值只有10^-5，表示vector2可能沒問題(需要檢查程式碼)。
  • 誤差值只有10^-3，表示vector2可能有問題。

該學到的

• Gradient checking的實作流程跟衡量標準。