Using word embeddings

前言

Named entity recognization example，當模型可以了解相近詞，或相反詞時，在遇到相類似的句子結構時，應該就可以進行對應的意思推導。這樣的句義模型通常是不用重頭開始訓練，Transfer learning and word embeddings，透過transfer learing可以減少大量的訓練工作。最後Relation to face encoding，word embedding其實跟之前學的人臉辨識的基礎理論是相似的。

內容

• Named entity recognization example

  

  • 當模型做完大量句子的訓練完，模型應該有能力可以推測"Sally Johnson"是個人名，"orange"是個水果，跟orange類似的的水果單詞有哪些，ex. "apple", "durian"。跟farmer類似的單詞如"cultivator"。

• Transfer learning and word embeddings

  

• 利用已經訓練好的模型作為基礎，根據新的embedding words，針對現有模型最後一兩層的layers重新訓練，如此這樣重新訓練好的模型就可以直接使用在新的task的預測上了。

• Relation to face encoding

  

• 之前學到的人臉辨識，就是給予一張圖片，經由DL之後，會生成一個vector(128)，然後透過兩張圖所生成的兩個不同vector的差異，來判斷這兩張圖是否為同一個人。

• embedding，也是相類似，字典中可能有10000個單子，經過大量的句子訓練後，會提每個單子生成一個vector(ex. 300)，再透過不同vector的差異，來判斷這兩個單字是否相似。

該學到的

• 什麼是相類似的句子的結構。
• Transfer learning在word embeddings的應用。
• 跟人臉辨識的理論關係。