很多人都在玩抖音，并且越玩越嗨，究其根源就是抖音根據個人愛好進行的精準視頻推薦，那么問題來了，精準度怎么測試呢? 其實精準度就是一個概率值，并且像抖音這樣的推薦系統通常是使用人工智能分類算法實現的，而分類算法有個AUC指標可以很好的衡量概率值的大小評測是否合適。本文就通過兩步來介紹怎樣通過分類算法的AUC指標來評測類似抖音推薦系統的推薦精準度。

一、了解TPR與FPR指標

·目標

了解TPR與FPR的定義以及作用

·步驟

1.了解AI模型分類算法的4個關鍵定義

TP:抖音推薦的視頻確實是用戶想要的視頻

TN:抖音沒推薦的視頻確實是用戶不想要的視頻

FP:抖音推薦的視頻是用戶不想要的視頻

FN:抖音沒推薦的視頻是用戶想要的視頻

2.了解TPR和FPR的公式

TPR = TP / (TP + FN) FPR = FP / (FP + TN) 3.TPF和FPR的作用

分別用于衡量推薦精準度圖形的橫縱坐標

二、了解SOC以及AUC

·目標

掌握SOC、AUC的定義以及作用

·步驟

1.SOC曲線圖的定義

ROC曲線的橫軸就是上面提到的FPR，縱軸就是上面提到的TPR，其圖形如下圖藍色線段所示：

越接近于左上角表示衡量的概率值越合理

2.AUC指標

? AUC的概率意義是隨機取一對用戶喜歡的視頻和用戶不喜歡的抖音視頻，將用戶喜歡的視頻優先于用戶不喜歡的視頻進行推送的概率值，因此這個值越大越好

? 從幾何意義上看AUC就代表SOC曲線的面積。代表了系統將用戶喜歡的視頻按照概率值從大大小進行排序的分類能力，因此AUC可以很好的衡量公司開發的推薦系統推薦的概率值也就是精準度是否合理

總結

本文以抖音為例提出了怎樣測試推薦系統推薦的精準性，從界面上是看不出來哪個視頻推薦給用戶的概率值應該是更高的，而通過實現推薦系統的分類算法自帶的AUC指標進行衡量可以很好的評測這個概率值，同時這個概率值的評測往往也是推薦系統的測試重點和難點。

本文來自：傳智播客軟件測試學院 test.itcast.cn