Long Short Term Memory (LSTM)

前言

LSTM是另外一種解決vanishing gradient的方式。

內容

• GRU and LSTM

  

• GRU計算比較簡潔，但比較沒那麼靈活。(構建深層模型會使用)
• LSTM比較靈活，但計算也相對複雜。

• LSTM units

  

• LSTM比GRU多了一個公式，多了一個開關設定。

• LSTM in pictures

  

• 有3個input(xt,at-1,ct-1)。
• 有3個gate(forget, update, output)。
• 有3個output(yt,at,ct)。

該學到的

• LSTM Unit

• GRU跟LSTM的差異。