Other regularization methods

前言

其他降低overfitting或underfitting的方法。

內容

• Data augmentation

• 模型大小不變，利用Data augmentation增加fake data擴大數據量。
• 原則上，這些變形盡量可以跟真實世界的變形想類似。
• ex. 如果所有貓的圖片，貓的身體都在頭的左邊，那模型可能會糾結在這樣的特徵上，來判斷是否為貓，利用Data augmentation讓模型不會只糾結這樣的特徵。

• Early stopping

• 當dev error出現一個最佳的值就停止訓練。

  • 有可能training loss尚未達到最佳值。
  • 其實就像是傳統的ML，利用一種方法在overfitting跟underfitting取得平衡。
  • 但這樣就沒發揮到DL獨有的優勢。

• DL的優勢。

  • 先用一種方法，讓模型達到overfitting。
  • 再利用另一種方法，讓模型去規避哪些overfitting中的噪音數據。

• Early stopping，雖然無法將overfitting或underfitting做到最好，但執行上相對簡單。

該學到的

• 什麼是Data augmentation

• 什麼是Early stopping