Language model and sequence generation

前言

語言生成模型，RNN是怎樣可以自行生成句子或文章。

內容

• What is language modelling?

  

• 人類可以直覺判斷下面那個句子是比較合理，但機器要如何做到?
• 對機器而言就是用機率來決定。

• Language modelling with an RNN

  

• 句子上每個詞都有對應的x,y。
• x,y生成是根據字典而建立。
• 若在字典找不到對應的單詞，例如標點符號，或者EOS，UWK。

• RNN model

  

• 給模型大量的範例句子。
• 模型中這些範例句子中進行學習，如何去生成合理的句子。
• 每次模型預測新單字，就是從字典中找出機率最高的那個單字。
• 每次輸入的input x，其實就是上個時間點的y，這表示模型要預測當前哪個單字機率最高，是會根據之前已經生成好的單字來決定的。
• 當模型訓練完畢後，給模型一個單字，他就可以自動生成一句話。

該學到的

• 什麼是語言生成模型。