Classic Networks

前言

3個經典CNN模型架構介紹。

內容

• LeNet - 5

  

• 相對於現在是比較小的模型，只有6萬個parameters。
• 沒有使用padding，新合成圖的長寬是逐步縮小。
• channel逐步增加。
• activation function當時都主要使用sigmoid, tanh。
• 在pooling之後才使用activation function，現在是在con後就直接使用activation function。

• AlexNet

  

• 約60百萬parameters。
• activation function使用Relu。
• 使用2個GPU，並將計算量分配到兩個2GPU。

• VGG - 16

  

• 約138百萬
• filter的size固定不變, pooling也固定不變。
• 每次filter個數翻倍。
• same padding保持長寬不變。
• 利用pooling來縮減size。

該學到的

• 了解3個經典CNN基本架構。