Single number evaluation metric

前言

利用單一的量化標準值來比較不同模型的成效。

內容

• Using a single number evaluation metric

• Precision:

  • 在所有預測貓的圖片中，真的貓的圖片所佔的比例。

• Recall:

  • 在所有貓的圖片中，預測是貓的圖片的比例。

• Precision和Recall之間彼此是存有你增我減的情況。
• 將Precision和Recall合而為一成單一量化標準F1，這樣更易於比較不同模型的成效。

• Another example

• 再要將不同的衡量標準合而為一時，要先了解這樣的合併是否有根據，否則這樣的合併的衡量標準並無法有效地去衡量模型的好壞。
• ex. 如果只是單純將各區域衡量結果取平均，當作這個algo的唯一的衡量，並不合理。每個區域可能還有其他的背景因素的考量才能做合併。

該學到的

• 為麼要用Single number evaluation metric。