GloVe word vectors

前言

提出另外一種學習word embedding的方式GloVe。並且講解如何定義Model中的損失函數，以及在A note on the featurization view of word embeddings中embedding的變化。

內容

• GloVe

  

• 先了解Xij是如何定義的，假設orange是context，juice是target，所有的訓練句子中找出當有orange會出現juice的次數。

• Model

  

• 損失函數的定義。
• f():是一個權重調整函數，主要是降低哪些出現機率高但又是無意義的單字的權重。

• A note on the featurization view of word embeddings

  

• 透過Glove的計算後，所得出來特徵向量已經無法單純由人為可以識別了。
• 原本的特徵向量，應該可以將Man正確投影在gender軸上一個點，或者是royal軸上的一個點。
• 經過Glove計算後，Man不會再正確投影在gender軸上一個點，或者是royal軸上的一個點，而是有可能在ew,1或ew,2上的一個點，而這些點後難從人為去識別這個意義。

該學到的

• Glove的loss function是如何定義的。
• Glove的計算後，對feature vector的影響。