Word2Vec

前言

先暸解Skip-grams的意義後，再深入一點對於Model的建立，最後在Problems with softmax classification中提出對於這樣的模型算法的計算缺點，以及context的決定。

內容

• Skip-grams

  

• 用一個單字(context)去預測另外一個單字(Target)。
• Target和context的距離跟方向(左右)都可以自由決定。

• Model

  

• 如何基於Skip-grams的算法來構建模型。
• 假設字典中有10000k個單字，我們選擇"orange"當作context，"juice"當作target。
• 知道了Oc，也知道真正的目標值 y(1000)。
• 透過E產生Ec(300)丟入模型softmax產生預測值 y(1000)。
• 透過目標值跟預測值的誤差不斷的修正模型和Ｅ。

• Problems with softmax classification

  

• 這樣的softmax的公式的計算量相當龐大。
• 透過hierarchical softmax的樹形二分計算法，讓原本是線性的計算量降為log等級的計算量。
• 如何選擇適當的context，如果是隨機選擇，很有很大機率選到無意義的單字(the, of, and..)，導致模型可能耗費在無意義的訓練上。

該學到的

• 什麼是Skip-grams。
• 如何基於Skip-grams的算法來構建模型。
• 計算量的問題。