Negative Sampling

前言

在Defining a new learning problem中提到如何簡化問題，再來Model中了解問題的簡化是如何降低計算量的運算，最後在Selecting negative samples提出一個公式去幫助我們選擇適當的negative samples。

內容

• Defining a new learning problem

  

• Negative Sampling是如何解決上一節Word2Vec所遇到的問題：計算量大的問題。
• 首先，先轉化成二分法問題，Word2Vec是計算每個配對的context->target所出現的機率是多少，在Negative Sampling把這個機率簡化成0,1的問題。
• 再來，只從字典中選擇K(5-20, 2-5)個sample做訓練，不用對整個字典都進行配對訓練，簡化計算量。

• Model

  

• 因為已經將問題轉成二分法的問題，所以計算公式也大幅簡化。
• 只需要做K+1次的訓練(K個negative跟1個positive)。

• Selecting negative samples

  

• 跟上節一樣的問題，如何選擇適當negative單字，不然都選到無意義的單字(the, of, and..)做negative。
• 提出了一個選擇的公式。

該學到的

• 是如何簡化問題。
• 了解計算量是如何降低。
• 怎樣選擇一個negative單字。