Beam Search

前言

一個更有效如何從眾多的翻譯句子找出翻譯最好的算法。

內容

• Beam search algorithm

• 每次輸出y時，不在只是找出機率最高的單字，而是找出機率最好的前3個單字(beam width)。

• 假設字典集有10000個單字
• 例如在第一部找出"in", "jane", "september"3個機率最高單字，分別帶入下個時刻，在找出所有組合。

  • "in" + 10000單字組合
  • "jane" + 10000單字組合
  • "september" + 10000單字組合

• 再從這個30000個組合中，找出機率最高的前3個組合(in september, jane is, jane visits)。

• 再從機率最高的前3個組合(in september, jane is, jane visits)，在找出下個機率最高的前3個組合。
• 找到EOS翻譯就結束。
• Beam search的精神就是每次組合多找幾組機率最高，然後再來比較。

該學到的

• Beam search algorithm。