What are deep ConvNets learning?

前言

CNN在每一層layer到底都在幹嘛呢 ?

內容

• Visualizing what a deep network is learning

• 第一層layer學到什麼 ?

  • 學習選擇更適當的weight(parameter)。

• layer output是怎樣來的 ?

  • layer output是由input跟weight(parameter)經過linear combination和activation function所產生的。

• 什麼是layer output unit activated ?

  • 表示這個unit的值比較高。
  • 值就是生成output之前，經過sigmoid產生0~1的數字。

    • 接近1，表示這個unit與所對應的filter相似度越高。

• Visualizing deep layers

• 什麼是nine image patches ？

  • 每一個3x3的圖片格，就是對應一個filter(3x3)。
  • 多個3x3的圖片格，就是多個不同filters。
  • 每個filter的目的，就是在抓取圖片中不同的特徵，比如直線，橫線，斜線..等。

• 層數越深，所學的特徵就越複雜。

該學到的

• 第一層layer學到什麼 ?
• 什麼是layer output unit activated ?
• 什麼是nine image patches ？