Word Representation

前言

Word representation，理解之前1-hot represenation的缺點後，進一步提供Featurized representation: word embedding的概念來填補這個缺點，最後Visualizing word embedding，從圖形來理解word embedding的背後含義。

內容

• Word representation

  

• 1-hot represenation的缺點就是模型無法找出單字間的關係。
• 從數學的角度上，透過1-hot represenation的單字，任兩個單字做內積都是0，完全沒有關係性存在。但單字之間，其實是存在很多相似詞或相反詞的關係性。

• Featurized representation: word embedding

  

• 將單字中的所有字典，根據feature進行分類(ex. gender, age, food..)，如此每個單字就擁有自己的feature vector，也就是所謂的word embedding。

• Visualizing word embedding

  

• 從圖形上來理解，word embedding就是將word進行相聯性的分類。

該學到的

• Word representation的缺點。
• 什麼是word embedding。