5.3 异常值处理

异常值是指样本中的个别值，其数值明显偏离它所属样本的其余观测值，这些数值是不合理的或错误的。

出现异常值的原因

每当我们遇到异常值时，处理它们的理想方法就是先找出出现这些异常值的原因。下面，常见出现异常值的原因，具体如表所示

检测异常值 

假设，数据集中的大多数实例都是在正常的前提下，异常值的检测方法通常分为三大类，即无监督式异常值的检测、监督式异常值的检测以及半监督式异常值的检测，具体介绍如下：

无监督式异常值的检测，通过寻找与其他数据最不匹配的实例来检测出未标记测试数据的异常。

监督式异常值的检测，需要一个已经被标记“正常”与“异常”的数据集，并涉及到训练分类器，用来区分正常值和异常值。

半监督式异常值的检测，根据一个给定的正常训练数据集创建一个表示正常行为的模型，将检测的偏离正常行为的对象视为异常值。

检测异常值

一般异常值的检测方法包含基于统计的方法、基于聚类的方法、以及一些专门检测异常值的方法等异常值检测的方法。

 删除包含异常值的记录

不少人在处理异常值时，习惯于使用简单粗暴的删除方法，但是这并不适用于处理所有异常值，若是通过删除的方法处理异常值，有时会使你错过真正的规律。如果想要删除数据，一定需要有合理的理由。当出现异常值时，需要先搞清楚是什么原因导致的异常值，然后考虑如何去处理。

不宜删除异常值的情况，具体如下：

（1）通常情况下，数据中出现的异常值较少。如果采集的数据中有超过30%的异常值数据，那么意味着需要进一步研究数据。

（2）如果异常值存在且代表了一种真实存在的现象，那就不可随意删除。例如，调查100个村的胃癌发病率，可能确实有个别村庄的发病率远远高于其它村，这时就不能随意删除，而是要把这些异常点纳入，重新拟合模型，研究其规律。

（3）分析数据的结果至关重要，因此即使很小的变化也会很重要。例如，可以更好地放弃关于人们最喜欢电视节目的异常值，而不是放弃关于飞机封条失效的温度。

通过Kettle工具，去除文件temperature.txt中的异常值。

现在有这样一份记录一天中不同时间温度的数据文件temperature.txt，其中包含时间和温度（摄氏度）两个字段，具体内容如图所示（展示部分数据）

 通过使用Kettle工具，创建一个转换delete_anomalous _value，并添加“文本文件输入”控件、“过滤记录”控件、“空操作（什么也不做）”控件以及Hop跳连接线。

双击“文本文件输入”控件，进入“文本文件输入”配置界面。

先单击【浏览】按钮，选择要去除异常值的文件temperature.txt，然后单击【增加】按钮，将要去除异常值的文件temperature.txt添加到“文本文件输入”控件中。

单击“内容”选项卡；清除分隔符处的默认分隔符“；”，单击【Insert TAB】按钮，在分隔符处插入一个制表符；取消勾选“头部”复选框，若不取消，在进行数据抽取操作时会排除文件第一行的数据。

单击“字段”选项卡；根据文件temperature.txt的内容添加对应的字段名称，并指定数据类型。

单击【预览记录】按钮，查看文件temperature.txt的数据是否成功抽取到文本文件输入流中。

双击“过滤记录”控件，进入“过滤记录”配置界面。

在“条件”处设置过滤的条件，由于文件temperature.txt中time为6：30的温度是137摄氏度，不在非异常值的范围内，因此属于异常值，我们应该将过滤字段设置为temperature、过滤值为137。

在“发送true数据给步骤：”处的下拉框中选择“空操作（什么也不做）2”，将异常值放在“空操作（什么也不做）2”控件中；在“发送false数据给步骤：”处的下拉框中选择“空操作（什么也不做）”，将非异常值放在“空操作（什么也不做）”控件中。

运行创建的delete_anomalous_value转换。

 查看文件temperature.txt是否去除了异常值

单击“空操作”控件，再单击执行结果的“Preview data”选项卡，查看是否去除了异常值。

 至此，我们完成异常值的处理。

这篇好文章是转载于：学新通技术网