Dropout Regularization
前言
理解什麼是Dropout
內容
Dropout regularization
- 透過隨機刪除神經元來達到Regularization的效果。
- 刪除神經元 - 壓縮模型。
- 隨機 - 讓每一個神經元的參數都無法過度強化，以避免太在意噪音數據的特徵，而是去抓住數據的主要特徵。
Implementing dropout (“Inverted dropout”)
- ex. 針對第三層神經元進行dropout。
- martix隨機生成80%的1和20%的0。
- 將martix和a3相乘，表示隨機刪除20%的神經元。
- 除keep-prob，讓a3不會因爲刪除20%的神經元，而整個輸出變小，要保持不變。
Making predictions at test time
- 測試時，不要做dropout。
該學到的
- 理解什麼是Dropout