R语言随机森林模型具有相关特征的变量重要性
最近我们被客户要求撰写关于随机森林模型的研究报告,包括一些图形和统计输出。
视频:从决策树到随机森林:R语言信用卡违约分析信贷数据实例
从决策树到随机森林:R语言信用卡违约分析信贷数据实例
,时长10:11
变量重要性图是查看模型中哪些变量有趣的好工具。由于我们通常在随机森林中使用它,因此它看起来非常适合非常大的数据集。大型数据集的问题在于许多特征是“相关的”,在这种情况下,很难比较可变重要性图的值的解释。例如,考虑一个非常简单的线性模型
在这里,我们使用一个随机森林的特征之间的关系模型,但实际上,我们考虑另一个特点-不用于产生数据- ,即相关 。我们考虑这三个特征的随机森林 。
为了获得更可靠的结果,我生成了100个大小为1,000的数据集。
-
library(mnormt)
-
-
-
RF=randomForest(Y~.,data=db)
-
-
plot(C,VI[1,],type="l",col="red")
-
lines(C,VI[2,],col="blue")
-
lines(C,VI[3,],col="purple")
顶部的紫色线是的可变重要性值 ,该值相当稳定(作为一阶近似值,几乎恒定)。红线是的变量重要性函数, 蓝线是的变量重要性函数 。例如,具有两个高度相关变量的重要性函数为
看起来 比其他两个 要 重要得多,但事实并非如此。只是模型无法在 和 之间选择 :有时会 被选择,有时会被选择。我想我发现图形混乱,因为我可能会想到的 重要性 的 恒定。考虑到其他变量的存在,我们已经掌握了每个变量的重要性。
实际上,我想到的是当我们考虑逐步过程时以及从集合中删除每个变量时得到的结果,
apply(IMP,1,mean)}
在这里,如果我们使用与以前相同的代码,
我们得到以下图
-
plot(C,VI[2,],type="l",col="red")
-
lines(C,VI2[3,],col="blue")
-
lines(C,VI2[4,],col="purple")
删除时会显示紫线 :这是最差的模型。我们保持 和时 ,我们得到了蓝线。而且这条线是恒定的:并不取决于 (这在上一张图中,有 确实会对重要性产生影响)。红线是移除后得到的 。关联为0时,它与紫色线相同,因此模型很差。关联度接近1时,与具有相同 ,并且与蓝线相同。
然而,当我们拥有很多相关特征时,讨论特征的重要性并不是那么直观。
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhgbjikf
-
photoshop保存的图片太大微信发不了怎么办
PHP中文网 06-15 -
《学习通》视频自动暂停处理方法
HelloWorld317 07-05 -
word里面弄一个表格后上面的标题会跑到下面怎么办
PHP中文网 06-20 -
Android 11 保存文件到外部存储,并分享文件
Luke 10-12 -
photoshop扩展功能面板显示灰色怎么办
PHP中文网 06-14 -
微信公众号没有声音提示怎么办
PHP中文网 03-31 -
excel下划线不显示怎么办
PHP中文网 06-23 -
excel打印预览压线压字怎么办
PHP中文网 06-22 -
TikTok加速器哪个好免费的TK加速器推荐
TK小达人 10-01 -
怎样阻止微信小程序自动打开
PHP中文网 06-13