使用五数概括法来确定数据集的孤立点
一、前言
在数据挖掘中,离不开数据集的问题
数据预处理我们会找到数据集中的孤立点
然后抛弃
那么怎么找到这些孤立点呢?
二、五数概括法
根据方法名称
就知道会有五个有关参数
- 最小值
- Q1(前25%的数据)
- Q2(即中位数,前50%的数据)
- Q3(前75%的数据)
- 最大值
大家应该还记得统计学中的正太分布吗?
对
就是下面这样图
正态分布代表了自然界中的太多规律
数据集中的数据分布也是如此
如果数据集中的数据越靠近中心位置
那么该数据集用于研究的效果更好
补充知识点
这里我们介绍四分位距(IQR,我更喜欢叫做四分位数差)
即IQR = Q3 - Q1
IQR的值越大表明数据集中的数据越分散
IQR的值越小表明数据集中的数据越靠近中位数
因为Q3与Q1与极值点(极大极小值)无关
所以更具有准确性。
三、简单案例
假如一项面对年轻人的产品被提出来
总得经过市场调研
最基本的就是调查问卷
年龄20岁的回答应该比50岁的回答更加有意义
所以我们有以下年龄的数据集
{13,15,16,16,19,20,20,21,22,22,25,25,25,25,30,33,33,35,35,35,35,36,40,45,46,52,70}
n = 27个数,那么哪些数据没有参考意义呢?
首先列出五数:
- min = 13
- 先确定位置:(n 1)* (1 / 4) = 7
所以Q1 = 20 - 先确定位置:(n 1)* (2 / 4) = 14
所以Q2 = 25 - 先确定位置:(n 1)* (3/ 4) = 21
所以Q3 = 35 - max = 70
所以IQR = Q3 - Q1 = 15
除了中间50%的数据可以用
那么还有哪些数据可以用呢?
就可以IQR来求数据中的
上边缘:
Q3 1.5 * IQR = 57.5
下边缘:
Q1 - 1.5 * IQR = -2.5 < 0,取0
所以数据中有效部分为[0,57.5]
对比数据集中的数据发现’70’是孤立点
即去除
四、意义
数据集中的数据肯定是存在孤立点的(噪声的)
那么我们就需要在预处理的时候去掉它
五数概括法是很简单很容易上手的一个方法
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhehkcig
系列文章
更多
同类精品
更多
-
photoshop蒙版画笔没反应怎么办
PHP中文网 06-24 -
微信小程序没声音怎么办
PHP中文网 06-15 -
微信提示登录环境异常是什么意思原因
PHP中文网 04-09 -
excel图片置于文字下方的方法
PHP中文网 06-27 -
使用云服务器搭建个人游戏加速器教程
AuroraJay 07-06 -
微信运动停用后别人还能看到步数吗
PHP中文网 07-22 -
Excel筛选和排序是灰色的怎么办
PHP中文网 06-22 -
微信人名旁边有个图标有什么用
PHP中文网 03-11 -
抖音国际版要用什么加速器能流畅刷Tiktok的加速器
TK小达人 08-02 -
键盘上的负数是哪个键
PHP中文网 03-17