Sampling novel sequences

前言

當語言模型訓練完畢時，如何給模型一個單字，他就可以自動生成一句話。

內容

• Sampling a sequence from a trained RNN

  

• 先隨機從字典中選擇第一個單字。
• 直到生成EOS就結束，或者決定某個長度就結束。
• 如果選到UNK，我們可以忽略他，再讓模型去找下一個預測值。

• Character-level language model

  

• 不是由單字來看，而是由字母來看。
• 如此一來，不應該會生成UNK。
• 但sequence長度會變很長，計算量會變很大。

  • 一個句子可能20個單字，但換成字母，可能是有上百的字母組合。

• Sequence generation

  

• 如果給模型訓練的是莎士比亜的句子，模型就會學習如何生成類似莎士比亜的句子。

該學到的

• 語言模型是如何生成語言。
• 從單字的角度變成字母的角度，語言模型的變化。