Error analysis in beam search

前言

如何對beam search進行錯誤分析。

內容

• Example

  

• 人類翻譯句子(比較準確的句子)，機器翻譯的句子(比較不準確的句子)。
• 理想上，機器翻譯的句子要等於(=)人類翻譯句子。
• 為什麼機器翻譯的句子會比較糟，有可能在兩個地方出現問題。

  • RNN: 將法語生成embedding vector。
  • Beam Search: 根據embedding vector找出最佳的翻譯句子。

• Error analysis就是幫助我們判斷哪一個比較有可能有問題。

• Error analysis on beam search

  

• 首先，先分別計算p(y*|x)跟P(y^|x)的機率。

• case1: p(y*|x) > P(y^|x)

  • Bean search有問題。
  • 因為y明明比y^更準確，然而bean search卻選擇y^而不是y。

• case2 p(y*|x) <= P(y^|x)

  • RNN有問題。
  • Bean search的確正確選出較高y^的單字，但這些單字卻都不是準確度較高的人類所選擇的單字。

• Error analysis process

  

• 對比p(y*|x)跟P(y^|x)差異較大的句子。
• 列出表格統計是beam search的問題多還是RNN的問題多。
• 優先處理檢查問題多的那一塊。

該學到的

• 如何對beam search進行錯誤分析。