Transfer Learning

前言

如何踏著巨人的肩膀(優秀的模型)前進。

內容

• Transfer Learning

• 先下載別人的模型的source code和weight。
• 根據自己的需求，將最後幾層的layer移除換成我們所需要的layer。
• 其他的layer的設計都保持不變，還有weight都保持一樣。
• 訓練加速的小技巧:

  • 避免每次epoch，都重新讓x穿越所有沒有改變的layer。
  • 先單獨計算x經過那些所有沒有改變的layer，產生的new x，然後存擋。
  • 訓練時，就直接拿檔案內容的new x來進行訓練後面幾層新設計的layer。

• 如果我們擁有的數據比較多，可以多拿幾層重新訓練。

該學到的

• 什麼Transfer Learning？