检查模型
下面的页面记录了web应用程序RapidMiner Go。要安装RapidMiner Go,您需要一个本地许可证。请联系销售为更多的信息。
结果
在RapidMiner Go的前4步中,你可能已经点击完成了。现在你需要放慢脚步,展现你的专业技能。乍一看,结果可能会让人不知所措,所以不要忽视其目的:
如果您正在寻找一个用户友好的起点,请查看模型模拟.
虽然可能很容易将您的模型视为一个黑箱,插入新数据,并进行预测,但黑箱预测的输出可能具有误导性——请参阅流失例子的总结.
表的内容
性能指标
要判断一个模型是好是坏,特别是它比其他模型好还是差,我们需要有一些比较的基础。通过给模型分配一个成功的数值度量,所谓的性能指标,您可以将它与其他模型进行比较,从而了解它的相对成功程度。
复杂的是,存在许多不同的绩效指标,没有一个是绝对的成功标准;每种方法都有优点和缺点,这取决于您试图解决的问题。您必须为您的问题选择最佳的性能度量,在此性能度量的帮助下,您可以选择最佳的模型。
为了计算性能指标,我们首先建立一个基于80%数据的随机样本的模型训练集).一旦建立了模型,我们就将该模型应用到剩下的20%的数据(称为测试集),并将预测值与已知值进行比较。理想情况下应该没有差异,但在实践中通常是有差异的,因为预测很少是100%正确的。
回想一下2.选择列要解决的问题类型取决于目标列中的值。它们是分类的还是数字的?根据您试图预测的内容,有不同的性能指标。有关更详细的讨论,包括示例,请参见下面的链接:
模型比较
一旦你选择了一个性能指标,您可以使用模型比较来帮助您根据该指标找到最佳模型。
模型对比显示了每个模型的性能:
- 作为条形图,对于任何特定的性能指标,将模型进行正面比较
- 作为表,模型作为行,性能指标作为列
单击性能指标以显示该指标的柱状图。点击一个模型来了解更多关于该型号的细节.讨论了在5。二元分类,回忆是对流失预测数据最有用的指标,根据该指标,性能最好的模型是决策树而且随机森林.
权重
点击权重图标以了解有关数据的更多信息,而不依赖于模型。的权重告诉你哪个输入数据最可能影响预测。从3.选择输入,我们已经知道“CustServ Calls”是流失预测数据中最重要的一列。的权重显示“国际计划”、“日记录”和“日费用”是第二重要的列,尽管它们的权重要小得多。
在模型模拟,更改权重最高的输入数据的值,您将很快了解该数据的重要性。权重较低的输入数据不太可能产生影响。
模型模拟
RapidMiner Go不仅帮助你获得结果;它还可以帮助您理解这些结果。要获得更好的了解,请单击模型模拟图标,并选择一个模型。我们选择决策树,因为模型比较认为它是一个很好的模型,它相对很容易解释.
美丽的模型模拟它是交互式的,所以您可以随意更改所有值,并立即看到对预测的影响。通过操作所有的滑块和下拉列表,您可以快速地为模型建立一些直觉,甚至是难以解释的模型,如深度学习。
对于它的初始状态模型模拟选择平均数据值,显示在左侧。在右侧,显示了一个预测(“否”,一般客户不会流失),以及一些重要因素。在重要因素的顶部是“CustServ Calls”,这是最高的数据列重量,它与目标列的高相关性甚至在我们建立任何模型之前就被识别出来了3.选择输入.
通过在“CustServ Calls”的初始值处来回移动滑块3.57,我们就能从中学到一些东西。特别注意,当“CustServ Calls”的值增加到7.00时,预测从“否”变为“是”。结论?给客服打太多电话,客户就会流失!其他滑块都没有相同的影响。
当“CustServ Calls”的值在6和7之间时,从“no”到“yes”的转换发生得相当突然,但在此之前就有问题的迹象,描述在重要的因素.你可以认为这是一次抗议投票。当“CustServ Calls”增加到7.00,它对“不”预测的反对越来越强烈,最终达到值-0.87在重要的因素,在预测变为“是”之前。然后抗议结束了,“CustServ Calls”与预测一致。
CustServ调用 | 预测 | 重要因素(客户服务呼叫) |
---|---|---|
2.00 | 没有(98.04%) | 0.0 |
3.00 | 没有(98.04%) | 0.0 |
4.00 | 没有(98.04%) | -0.28 |
5.00 | 没有(98.04%) | -0.55 |
6.00 | 没有(98.04%) | -0.79 |
6.50 | 没有(83.55%) | -0.86 |
6.90 | 没有(54.56%) | -0.87 |
7.00 | 是的(59.93%) | + 0.87 |
7.20 | 是的(74.42%) | + 0.86 |
8.00 | 是的(74.42%) | + 0.75 |
出口
RapidMiner Go不是一个黑匣子。从每个单独模型的细节视图来看,您可以这样做出口一份RapidMiner过程它创造了它,你可以进口将该过程导入到RapidMiner Studio进行更详细的检查。在那里您可以运行流程,可以修改流程,可以进行任何您喜欢的更改!