正确率、召回率和 F 值是在鱼龙混杂的环境中,选出⽬标的重要评价指标。不妨看看这些指标的定义先:
1. 正确率 = 正确识别的个体总数 / 识别出的个体总数 2. 召回率 = 正确识别的个体总数 / 测试集中存在的个体总数
3. F值 = 正确率 * 召回率 * 2 / (正确率 + 召回率) (F 值即为正确率和召回率的调和平均值)
不妨举这样⼀个例⼦:某池塘有1400条鲤鱼,300只虾,300只鳖。现在以捕鲤鱼为⽬的。Seaeagl e撒⼀⼤⽹,逮着了700条鲤鱼,200只虾,100只鳖。那么,这些指标分别如下:正确率 = 700 / (700 + 200 + 100) = 70%召回率 = 700 / 1400 = 50%
F值 = 70% * 50% * 2 / (70% + 50%) = 58.3%
不妨看看如果 Seaeagle 把池⼦⾥的所有的鲤鱼、虾和鳖都⼀⽹打尽,这些指标⼜有何变化:正确率 = 1400 / (1400 + 300 + 300) = 70%召回率 = 1400 / 1400 = 100%
F值 = 70% * 100% * 2 / (70% + 100%) = 82.35%
由此可见,正确率是评估捕获的成果中⽬标成果所占得⽐例;召回率,顾名思义,就是从关注领域中,召回⽬标类别的⽐例;⽽ F 值,则是综合这⼆者指标的评估指标,⽤于综合反映整体的指标。
补充: 以下是百度百科中对召回率的详解
召回率
基本概念召回率
召回率(Recall)和(Precise)是⼴泛⽤于和统计学分类领域的两个度量值,⽤来评价结果的质量。其中召回率是是检索出的相关⽂档数和⽂档库中所有的相关⽂档数的⽐率,衡量的是检索系统的。是检索出的相关⽂档数与检索出的⽂档总数的⽐率,衡量的是检索系统的。计算⽅法召回率和⽰意图recall
假定:从⼀个⼤规模数据集合中检索⽂档时,可把⽂档分成四组:- 系统检索到的相关⽂档(A)- 系统检索到的不相关⽂档(B)
- 相关但是系统没有检索到的⽂档(C)- 不相关且没有被系统检索到的⽂档(D)则:
- 召回率R:⽤检索到相关⽂档数作为分⼦,所有相关⽂档总数作为分母,即R = A / ( A + C )- P:⽤检索到相关⽂档数作为分⼦,所有检索到的⽂档总数作为分母.即P = A / ( A + B ).举例来说:
⼀个数据库有500个⽂档,其中有50个⽂档符合定义的问题。系统检索到75个⽂档,但是只有45个符合定义的问题。召回率 R=45/50=90% P=45/75=60%
本例中,系统检索是⽐较有效的,召回率为90%。但是结果有很⼤的噪⾳,有近⼀半的检索结果是不相关。研究表明:在不牺牲的情况下,获得⼀个⾼召回率是很困难的。搜索系统的召回率
对于⼀个检索系统来讲,召回率和不可能两全其美:召回率⾼时,精度低,精度⾼时,召回率低。所以常常⽤ 11种召回率下 11 种的平均值来衡量⼀个检索系统的精度。我们也可以将这两个融合成⼀个度量值,如 F度量 (F-measure)。对于搜索引擎系统来讲,因为没有⼀个搜索引擎系统能够搜集到所有的 WEB ⽹页,所以召回率很难计算。
⽬前的搜索引擎系统都⾮常关⼼。
影响⼀个搜索引擎系统的性能有很多因素,最主要的是模型,包括⽂档和查询的表⽰⽅法、评价⽂档和⽤户查询相关性的匹配策略、查询结果的排序⽅法和⽤户进⾏相关度反馈的机制。
“召回率” 与 “” 虽然没有必然的关系,然⽽在⼤规模数据集合中,这两个指标却是相互制约的。
由于 “检索策略” 并不完美,希望更多相关的⽂档被检索到时,通常放宽 “检索策略” ,此时往往也会伴随出现⼀些不相关的结果,从⽽使准确率受到影响。⽽希望去除检索结果中的不相关⽂档时,务必要将 “检索策略” 定的更加严格,这样也会使有⼀些相关的⽂档不再能被检索到,从⽽使召回率受到影响。
凡是涉及到⼤规模数据集合的检索和选取,都涉及到 “召回率” 和 “” 这两个指标。⽽由于两个指标相互制约,我们通常也会根据需要为 “检索策略” 选择⼀个合适的度,不能太严格也不能太松,寻求召回率和准确率中间的⼀个平衡点。这个平衡点由具体需求决定。
因篇幅问题不能全部显示,请点此查看更多更全内容