整理一份详细的数据预解决方法
发布时间：2021-06-05 14:27:50 所属栏目：大数据 来源：互联网
导读：为什么数据处理很重要? 熟悉数据挖掘和机器学习的小伙伴们都知道，数据处理相关的工作时间占据了整个项目的70%以上。数据的质量，直接决定了模型的预测和泛化能力的好坏。它涉及很多因素，包括：准确性、完整性、一致性、时效性、可信性和解释性。 整理一份
|
为什么数据处理很重要?
熟悉数据挖掘和机器学习的小伙伴们都知道，数据处理相关的工作时间占据了整个项目的70%以上。数据的质量，直接决定了模型的预测和泛化能力的好坏。它涉及很多因素，包括：准确性、完整性、一致性、时效性、可信性和解释性。
整理一份详细的数据预处理方法
而在真实数据中，我们拿到的数据可能包含了大量的缺失值，可能包含大量的噪音，也可能因为人工录入错误导致有异常点存在，非常不利于算法模型的训练。数据清洗的结果是对各种脏数据进行对应方式的处理，得到标准的、干净的、连续的数据，提供给数据统计、数据挖掘等使用。
有哪些数据预处理的方法?
数据预处理的主要步骤分为：数据清理、数据集成、数据规约和数据变换。本文将从这四个方面详细的介绍具体的方法。如果在一个项目中，你在这几个方面的数据处理做的都很不错，对于之后的建模具有极大的帮助，并且能快速达到一个还不错的结果。
数据清理
数据清理(data cleaning) 的主要思想是通过填补缺失值、光滑噪声数据，平滑或删除离群点，并解决数据的不一致性来“清理“数据。如果用户认为数据时脏乱的，他们不太会相信基于这些数据的挖掘结果，即输出的结果是不可靠的。
1、缺失值的处理
由于现实世界中，获取信息和数据的过程中，会存在各类的原因导致数据丢失和空缺。针对这些缺失值的处理方法，主要是基于变量的分布特性和变量的重要性(信息量和预测能力)采用不同的方法。主要分为以下几种：
删除变量：若变量的缺失率较高(大于80%)，覆盖率较低，且重要性较低，可以直接将变量删除。
定值填充：工程中常见用-9999进行替代
统计量填充：若缺失率较低(小于95%)且重要性较低，则根据数据分布的情况进行填充。对于数据符合均匀分布，用该变量的均值填补缺失，对于数据存在倾斜分布的情况，采用中位数进行填补。
插值法填充：包括随机插值，多重差补法，热平台插补，拉格朗日插值，牛顿插值等
模型填充：使用回归、贝叶斯、随机森林、决策树等模型对缺失数据进行预测。
哑变量填充：若变量是离散型，且不同值较少，可转换成哑变量，例如性别SEX变量，存在male,fameal,NA三个不同的值，可将该列转换成：IS_SEX_MALE, IS_SEX_FEMALE, IS_SEX_NA。若某个变量存在十几个不同的值，可根据每个值的频数，将频数较小的值归为一类'other'，降低维度。此做法可最大化保留变量的信息。
总结来看，楼主常用的做法是：先用pandas.isnull.sum()检测出变量的缺失比例，考虑删除或者填充，若需要填充的变量是连续型，一般采用均值法和随机差值进行填充，若变量是离散型，通常采用中位数或哑变量进行填充。
注意：若对变量进行分箱离散化，一般会将缺失值单独作为一个箱子(离散变量的一个值)
2、离群点处理
异常值是数据分布的常态，处于特定分布区域或范围之外的数据通常被定义为异常或噪声。异常分为两种：“伪异常”，由于特定的业务运营动作产生，是正常反应业务的状态，而不是数据本身的异常;“真异常”，不是由于特定的业务运营动作产生，而是数据本身分布异常，即离群点。主要有以下检测离群点的方法：
简单统计分析：根据箱线图、各分位点判断是否存在异常，例如pandas的describe函数可以快速发现异常值。
3原则：若数据存在正态分布，偏离均值的3之外。通常定义： 范围内的点为离群点。
基于绝对离差中位数(MAD)：这是一种稳健对抗离群数据的距离值方法，采用计算各观测值与平均值的距离总和的方法。放大了离群值的影响。
基于距离：通过定义对象之间的临近性度量，根据距离判断异常对象是否远离其他对象，缺点是计算复杂度较高，不适用于大数据集和存在不同密度区域的数据集
基于密度：离群点的局部密度显著低于大部分近邻点，适用于非均匀的数据集
基于聚类：利用聚类算法，丢弃远离其他簇的小簇。
总结来看，在数据处理阶段将离群点作为影响数据质量的异常点考虑，而不是作为通常所说的异常检测目标点，因而楼主一般采用较为简单直观的方法，结合箱线图和MAD的统计方法判断变量的离群点。
具体的处理手段：
根据异常点的数量和影响，考虑是否将该条记录删除，信息损失多
若对数据做了log-scale 对数变换后消除了异常值，则此方法生效，且不损失信息
平均值或中位数替代异常点，简单高效，信息的损失较少
在训练树模型时，树模型对离群点的鲁棒性较高，无信息损失，不影响模型训练效果
3、噪声处理
噪声是变量的随机误差和方差，是观测点和真实点之间的误差，即 ：
整理一份详细的数据预处理方法
通常的处理办法：对数据进行分箱操作，等频或等宽分箱，然后用每个箱的平均数，中位数或者边界值(不同数据分布，处理方法不同)代替箱中所有的数，起到平滑数据的作用。另外一种做法是，建立该变量和预测变量的回归模型，根据回归系数和预测变量，反解出自变量的近似值。
 （编辑：柳州站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
