为什么精度和AUC值如此不同?

Dhiii12Dhiii12 成员职位:8学我
在帮助
请帮帮我，

为什么65%的准确率得到的AUC值是0.727，而73.54%的准确率得到的AUC值是0.711 ?是什么影响了两者，为什么精度越高AUC越低?





我提前感谢你的帮助!

最好的问候,

Dhiii
标记:

答案

  • BalazsBaranyBalazsBarany 管理员，版主，员工，RapidMiner认证分析师，RapidMiner认证专家职位:847独角兽
    这就跟你问声好！

    这通常发生在标签分布不平衡的情况下，例如，如果标签的一个值是80%，而另一个值是数据的20%。但也可能有其他原因。

    AUC和精度衡量的是不同的东西。

    准确度就是正确预测的百分比。在极端的情况下，当最简单的模型只是预测了多数类时，它可能是正确的，因为大多数类在数据中。但这不是一个好的模型(一个您想要使用的模型)。

    AUC测量每个置信度水平的真阳性与假阳性比率。你在图表中看到的红线向上表示正确的预测，向右表示错误的预测。这条线描述了一条“曲线”，AUC是曲线下的面积。因此，只要以最高的置信度做出正确的预测，就可以实现最佳AUC(1.0)。

    因此AUC也测量置信水平，而不仅仅是应用模型应用的(或多或少任意的)决策边界。这是一个更复杂但更可靠的测量方法，它不受不平衡标签分布的影响。

    检查混淆矩阵。你是否遇到过一个类被过度预测(有很多假阳性)的情况?在这种情况下，AUC是一个比精度更好的模型性能指标。

    问候,
    Balazs

登录或注册置评。