Recurrent Neural Network Model

前言

為什麼不選擇標準的深度學習模型，而是利用RNN的模型來處理這些sequence data?

內容

• Why not a standard network?

  

• sequence data在進行處理時，往往input跟output的長度是不固定的。
• 標準的深度學習模型的weight的重複使用率低，就好比CNN模型的中filter可以重複被利用，RNN對於處理sequence data具有share feature的能力，共享weight，進而可以控制模型的大小，計算量也大幅下降。

• Recurrent Neural Networks

  

• 最右邊的圖，RNN的核心就是有個循環的箭頭。
• Waa, Wax, Wya，透過這3組weight，以及輸入的x，跟上個時間點的a，不斷生成新的y。
• Waa, Wax, Wya在每次都循環都是相同的一組，也就是共享weight。

• Forward Propagation

  

• 具體的Forward Propagation的流程。
• a,y的計算公式。

• Simplified RNN notation

  

• 將上面的兩個公式進行化簡。
• Waa, Wax合併(左右合併)。
• at-1,xt合併(上下合併)。
• 將兩個weight合併，兩個input合併，如此一來原本的兩步計算(線性組合)，變成一次計算(線性組合)就可以完成，計算量可以大幅下降。

該學到的

• 為什麼不用標準的深度學習模型。
• RNN的基本核心，公式。
• 如何進行公式的簡化。