Learning word embeddings
前言
首先，在Neural Language Mode中，試著了解我們是如何訓練出Embedding matrix，接下來，在Other context/target pair，提出其他的訓練方式。
內容
Neural Language Mode
- 如何構建一個ＲＮＮ模型來訓練出我們所需要的Embedding matrix?
- 首先，我們會有很多的樣本句子進行訓練。
- 假設每個句子，我們要模型來推測最後一個單字會是什麼。
- 接下來，將最後一個單字之前每個單字embedded vector找出來，組合成一個大的vector，例如只取前4個單字，則為 300*4 = 1200。
- 然後將這個大vector丟入我們的模型中，讓模型去進行預測這字典中10000個單字成為最後一個單字的機率分別是多少。
- 由於，我們都知道每個樣本句子的實際最後一個單字是什麼，我們就可以進backpropagation，來更新我們的Embedding matrix。
Other context/target pair
- 有哪些不同的訓練方式？
- target word的前後4個單字。
- 前一個單字。
- 最近的單字，又叫做skip gram的方法。
該學到的
- 理解是如何訓練出Embedding matrix。
- 有哪些不同的訓練方式？