Multi-task learning

前言

什麼是Multi-task learning？

內容

• Simplified autonomous driving example

• 例子：自駕車

  • 需要同時處理多樣的物體辨識。

• 比較:

  • logistic regression: 預測是某單一物體的機率。
  • softmax multi-classification: 預測是哪一個類別的物體的機率。
  • Multi-task learning: 可以同時預測多個類別的物體的機率。

• Neural network architecture

• 最終輸出有4個值。

  • 是否有行人，有車子，有紅綠燈，有警示牌。

• When multi-task learning makes sense

• 雖然都是執行不同任務，但共享相同的底層特徵。
• 每個任務對應的數據量相似。

  • 單個任務1000個樣本，另外其他99個任務的9900的樣本可以替這個Multi-task learning model訓練出很好的參數，來為這個單一任務進行底層特徵的支援。(有點transfer learning的概念)。

• Multi-task learning model必須夠大。

該學到的

什麼是Multi-task learning？