Backpropagation through time

前言

RNN的Forward propagation and backpropagation的流程是怎樣的呢?

內容

• Forward propagation and backpropagation

• Forward propagation

  • 先得到y^
  • 然後計算每個y^所對應的Lt，將每個Ｌt進行相加得到全部的L。

• Back propagation

  • 將全部L按照Back propagation的計算，合理分配到每個y^上，然後回推a。
  • 跟一般模型的Back propagation的差異，就是多了Backpropagation through time，從a來的back propagation(根據時間點回朔)。

該學到的

• 特殊的Backpropagation through time。