Regularization
前言
Regularization是如何降低overfitting?
內容
Logistic regression
- 加入lambd(超參數)來控制weight(參數)，讓模型不要太注意那些噪音數據的特徵。
- L1,L2 regularization
- 因為cost函數的要求是要越小越好。
- 因此當lambd設置越大，模型就會想辦法讓w變小。
- 因此當w變小，表示每層的輸出值也變小。
- 因此當每層的輸出值也變小，在進行反向傳遞時，每一層的變化也變小。
- 因此當每一層的變化也變小，模型就不會被那些噪音數據而干擾。
Neural network
How does regularization prevent overfitting?
- Regularization是阻止模型學習太多的噪音數據。
- lambd越大，表示w小，可以想成某些神經元是沒在工作，可以被刪除忽略，因此進而壓縮整個模型的大小。
- lambd太大
- 壓縮整個模型過多。
- 出現underfitting。
- lambd太小
- 壓縮整個模型很小。
- 出現overfitting。
該學到的
- 理解超參數lambd是如何控制bias跟variance。