- 在臉部識別技術中，評估模型的性能是確保其有效性和準確性的重要步驟。為了全面了解一個臉部識別系統的表現，研究人員和工程師通常會使用多種指標來量化系統的準確性、穩定性以及效率。這些指標不僅可以幫助識別正確性，還能揭示系統在不同情境下的表現差異。常見的臉部識別評估指標包括均值平均精度（mAP）、Rank n accuracy、CMC等。這些指標各有其特定用途，有的適用於衡量正確識別的比例，有的則更注重偵測系統的全面性。在選擇適合的指標時，應考量實際應用需求及具體場景，從而進行有針對性的性能優化。本篇文章將深入探討這些常用指標，並說明如何運用這些工具來精確評估和改進臉部識別技術。
- 一. Rank 1 accuracy
- 描述→正確匹配是否出現在排名第 1 名的位置。換句話說，系統對每個測試樣本的第一個候選是否是正確的。
- 舉例
- 計算 Rank-1 Accuracy
- 正確的 Rank-1 匹配數量 = 2（樣本 A 和 E）。
- 總測試樣本數量 = 5。
- \(\text{Rank-1 Accuracy} = \frac{\text{Rank-1 匹配數量}}{\text{總測試樣本數}} = \frac{2}{5} = 0.4 , (40%)\)
- 二. Rank n accuracy
- 描述→是在某個特定的排名 $n$ 下，測試樣本的正確匹配率。
- 計算公式→\(\text{Rank-n Accuracy} = \frac{\text{排名 ≤ n 的正確匹配樣本數}}{\text{總測試樣本數}}\)
- 舉例
- 逐一分析每個樣本是否匹配 Rank-n
- 統計每個 Rank-n 的正確匹配數量
- 三. CMC→Cumulative Match Characteristic
- 描述→累積匹配特徵（Cumulative Match Characteristic，CMC）曲線，是將 Rank-1, Rank-2, …, Rank-n 的準確率依序排列，繪製出的一條曲線。
- 把剛剛的例子畫出圖來就是CMC取線圖
- 四. MAP
- 描述→主要應用於檢索系統中，即給定一張查詢圖片，計算在數據庫中檢索到的候選結果的準確性和召回率。這與物體檢測中的 mAP 定義類似，但具體應用於身份匹配的場景。
- 例子
- 數據庫中有 3 個身份，每個身份有 5 張圖片：
- ID1: A1, A2, A3, A4, A5
- ID2: B1, B2, B3, B4, B5
- ID3: C1, C2, C3, C4, C5
- 查詢圖片：A1 （屬於 ID1）。
- 檢索系統返回 10 個排序結果： $A3, B1, A2, C1, A4, B2, C2, A5, B3, C3$
- 逐步計算
- 正確身份的圖片
- 查詢身份為 ID1，正確匹配的圖片是 $A2, A3, A4, A5$（不包含查詢圖片 A1）。
- 檢索結果的匹配情況
- 按檢索排序逐一判斷是否匹配：
- 第 1 個：A3 （正確）
- 第 2 個：B1 （錯誤）
- 第 3 個：A2 （正確）
- 第 4 個：C1 （錯誤）
- 第 5 個：A4 （正確）
- 第 6-10 個結果略同理。
- 匹配的排名為：1, 3, 5, 8。
- 按檢索排序逐一判斷是否匹配：
- 計算 Precision 和 Recall
- Precision 在每次正確匹配時計算：
- \(\text{Precision@1} = \frac{1}{1}, , \text{Precision@3} = \frac{2}{3}, , \text{Precision@5} = \frac{3}{5}, , \text{Precision@8} = \frac{4}{8}\)
- Recall 在每次正確匹配時計算：
- \(\text{Recall@1} = \frac{1}{4}, , \text{Recall@3} = \frac{2}{4}, , \text{Recall@5} = \frac{3}{4}, , \text{Recall@8} = \frac{4}{4}\)
- Precision 在每次正確匹配時計算：
- 計算 Average Precision (AP) 對每次正確匹配取當前 Precision 值，並對所有正確匹配的 Precision 求平均：
- \(AP = \frac{1}{4} \left( 1 + \frac{2}{3} + \frac{3}{5} + \frac{4}{8} \right) = 0.7437\)
- 多個查詢計算 mAP 如果我們對多個查詢圖片計算 AP，mAP 就是這些 AP 的平均值。
- 正確身份的圖片
- 數據庫中有 3 個身份，每個身份有 5 張圖片：
- 參考資料
Face recognition 常用指標介紹
Subscribe
Login
0 Comments