Orthogonalization

前言

如何有效地去調整模型

內容

• TV tuning example

• 每個特徵應該都要單獨控制。
• 若一個knob可以同時控制兩個特徵，那就不是Orthogonalization。

• Chain of assumptions in ML

• 從4個層面，逐層找起可能問題

1. 對training set表現不佳
   • 如果是因為training set太大 -> 調整方向: 增加模型層數
   • 如果是因為更新幅度太慢 -> 調整方向: 替換不同的優化演算法
2. 對dev set表現不佳
   • 如果是因為training set太小 -> 調整方向: 增加training set
   • 如果是因為overfitting -> 調整方向: regularization
3. 對test set表現不佳
   • 如果是因為test set的分佈跟dev set不同 -> 調整方向: 增加dev set
4. 對real data表現不佳
   • 如果是因為real data的數據分佈跟dev/test不同 -> 調整方向: 增加dev/test set
   • 如果是因為沒有定義有效的損失函數(真的抓到key feature) -> 調整方向: 重新定義損失函數

該學到的

• 什麼是Orthogonalization。
• 如何有策略性的尋找模型的調整方向。