Avoidable bias

前言

得到一個剛訓練好的模型，接下來我們就要進行Bias and Variance的分析。

內容

• Bias and Variance

• Cat classification example

• 最優標準 = 人類標準 ＝ 1% error

  • training error = 8 %, Avoidable bias = 8 - 1 = 7 %
  • dev error = 10 %, dev-training bias = 10 - 8 = 2 %
  • 優先處理avoidable bias

• 最優標準 = 人類標準 ＝ 7.5% error

  • training error = 8 %, Avoidable bias = 8 - 7.5 = 0.5 %
  • dev error = 10 %, dev-training bias = 10 - 8 = 2 %
  • 優先處理dev-training bias

• 如何降低avoidable bias

  • 做overfit。

• 如何降低dev-training bias

  • regularization，讓模型更平滑。
  • 增加training set，讓training set可以涵蓋到dev set的分佈。

該學到的

• 如何進行Bias and Variance的分析。