精确率和召回率的权衡
问题描述：
Hulu提供视频的模糊搜索功能，搜索排序模型返回的ｔｏｐ５的精确率非常高，但在实际应用中，用户还是找不到自己想要的视频，特别是一些比较冷门的剧集，这可能是哪个环节出了问题？
精确率和召回率的权衡
精确率：是指分类正确的正样本个数占分类器判定为正样本的样本个数的比例。
召回率：是指分类正确的正样本个数占真正的正样本个数的比例。
在排序问题中通常没有一个确定的阈值把得到的结果直接判定为正样本或者负样本，而是采用ＴｏＰＮ返回结果的Ｐｒｅｃｉｓｉｏｎ值和Ｒｅｃａｌｌ值来衡量排序模型的性能。即认为模型返回的ＴＯＰＮ的结果就是模型判定的正样本，然后计算前Ｎ个位置的精确率和召回率。
精确率和召回率是极矛盾有统一的两个指标，为了提高精确率值，分类器需要尽量在“更有把握”时才把样本预测为正样本，但此时会因为过于保守而漏掉很多没有把握的正样本，导致召回率ｒｅｃａｌｌ值降低。
回到问题中来，模型返回的ｐｒｅｃｉｓｉｏｎ＠５的结果非常好，也就是说排序模型ＴＯＰ的返回值的质量是很高的，但在实际应用中，用户为了找一些冷门的视频，往往会寻找排在靠后位置的结果，甚至翻页去查找目标视频。但根据题目描述，用户经常找不到想要的视频，这说明模型没有把相关的视频呈现给用户。
显然问题出在了召回率上ｒｅｃａｌｌ，如果相关视频有１００个，即使精确率达到了１００％，ｒｅｃａｌｌ召回率也只有５％。
为了综合评估一个排序模型的好坏，不仅要看模型在不同的ＴｏＰＮ下的ｐｒｅｃｉｓｉｏｎ＠Ｎ和ｒｅｃａｌｌ＠Ｎ，而且最好绘制出模型的Ｐ－Ｒ曲线。
Ｐ－Ｒ曲线横轴是召回率，数轴是精确率。对于一个排序模型来说，其Ｐ－Ｒ曲线上的一个点代表着，在某一阈值下，模型将大于该阈值的结果判定为正样本，小于该阈值的结果判定为负样本，此时返回结果下的召回率和精确率。整条Ｐ－Ｒ曲线通过将阈值由高向低移动而生成的。
只有某个点对应的召回率和精确率不能全面的衡量模型的性能，只有通过Ｐ－Ｒ曲线的整体表现才能够对模型进行更为全面的评估。
除此之外，Ｆ１ ｓｃｏｒｅ 和ＲＯＣ曲线也能综合反映一个排序模型的性能。ＦＩｓｃｏｒｅ 是精确率和召回率的调和平均值。
相关知识
YOLO数据训练效果评估
Yolov8目标识别——模型训练结果可视化图分析与评估训练结果
⚠️10种猫咪常见疾病上！易患率｜致命率｜医疗
机器学习训练集、验证集、测试集，分类问题和回归问题评估指标，交叉验证法，macro avg与weighted avg含义，roc
【YOLOv8训练结果评估】YOLOv8如何使用训练好的模型对验证集进行评估及评估参数详解
yolov8模型训练结果分析以及如何评估yolov8模型训练的效果
QQ炫舞宠物竞赛怎么召回？
宠率吧
足彩赔率的秘密，很多人不知道
狗的体脂率
网址: 精确率和召回率的权衡 https://m.mcbbbk.com/newsview328351.html
| 上一篇: 哈士奇的唤回训练 |
下一篇: 让泰迪犬听到呼唤就有回应的唤回训 |
