Refinements to Beam Search
前言
如何改進Beam Search。
內容
Length normalization
- 給定一個法語句子x，前面每一個已經翻譯好的單字y1,y2,..yt-1，找出現在這個要翻譯出來的單字yt。
- 很多小於1的機率相乘，會導致越長的句子，越多單字相疊加後，其乘積會變得很小很小，這就不利於我們的學習。
- 採用log的方式，來解決乘積過小的問題。
- 採用平均的放式，來縮放整個乘積的區間。
Beam search discussion
- B大：有機會找出更棒的翻譯的句子，但翻譯慢。
- B小: 可能會漏掉更棒的翻譯的句子，但翻譯快。
該學到的
- Beam Search所面對的問題。