Gradient Checking Implementation Notes

前言

一些在實作Gradient Checking需要注意到的細節。

內容

• Gradient checking implementation notes

• 訓練時，不要進行Gradient Checking，計算費時。
• 如果我們的設計的算法沒通過Gradient Checking，嘗試從w,b的變化來尋找原因。
• 如果有進行正規化，別忘記更新J(0)的公式，加入正規化的項目。
• 對於dropout模型，先關閉dropout，在跑一次訓練，之後才來利用Gradient Checking來驗證反向是否正確。
• 多跑幾次訓練後，在來進行Gradient Checking，會只比訓練一遍來得更保險。

該學到的

• 注意細節。