Properties of word embeddings

前言

Analogies，模型是如何透過數學關係，來進行單字之間類比的推導。Analogies using word vectors，將這個數學關係更近一步寫成公式，最後再Cosine similarity，瞭解similarity function的內涵。

內容

• Analogies

  

• 什麼是Analogies，就是類比。
• (Man, Woman)是類比的關係，那如果給模型(King, ?)，是否模型可以推導出"Queen"呢?
• 透過vector差值的相似性來進行Analogies的推導。

• Analogies using word vectors

  

• 圖形的表現上(Man, Woman)，(King, Queen)之間的距離差，應該是要接近的。
• 利用similarity function，需要傳入兩個input。
• input 1: target vector (ek - em + ew)。
• input 2: 在字典中loop每個單字ei。
• 最終透過similarity function，找到一個ei其相似值是最大的。

• Cosine similarity

  

• similarity的函數定義，利用Cosine來計算，當兩個vector所形成的角度越小，其值越大(相似度越大)。
• 當然也可以用距離方式來找相似度，但就是用距離要越小越好。

該學到的

• 模式是如何透過數學關係來進行Analogies的邏輯推導。