如何处理缺失值？这一篇搞定！
本文作者：寇晓璇，中南财经政法大学统计与数学学院
本文编辑：杨婉清
技术总编：陈 鼎
Stata&Python云端课程来啦！
为了感谢大家长久以来的支持和信任，爬虫俱乐部为大家送福利啦！！！Stata&Python特惠课程双双上线腾讯课堂～原价2400元的Python编程培训课程，现在仅需100元，详情请查看推文《Python云端课程福利大放送！0基础也能学~》。关于Stata，爬虫俱乐部推出了系列课程，内容包括字符串函数、正则表达式、爬虫专题和文本分析，可以随心搭配，价格美丽，物超所值，更多信息可查看Stata系列推文《与春天有个约会，爬虫俱乐部重磅推出正则表达式网络课程！》、《与春天有个约会，爬虫俱乐部重磅推出基本字符串函数网络课程》等。变的是价格，不变的是课程质量和答疑服务。对报名有任何疑问欢迎在公众号后台和腾讯课堂留言哦！
在各种数据库中，属性值缺失的情况时有发生。造成数据缺失的原因是多方面的，小编认为主要可以分为以下两种：
客观原因：有些信息暂时无法提取，如在短时间无法获得的临床检验结果；某些属性值本身不存在，如未婚者的配偶姓名；获取某些信息的代价太大；系统实时性能要求较高，要求在得到这些信息前做出决策。
主观原因：数据在输入时由于人为因素被遗漏；被认为是无关紧要的信息。
总之，对于造成缺失值的原因，我们要明确一点：是因为工作人员疏忽造成的，还是数据本身就无法提取。只有明确数据缺失的原因，方能对症下药。
明确两个概念：数据集中不含缺失值的变量称为`完全变量`，数据集中含有缺失值的变量称为`不完全变量`。从缺失的分布来看可以将缺失分为`完全随机缺失`，`随机缺失`和`完全非随机缺失`。
完全随机缺失：指数据的缺失是完全随机的，不依赖于任何不完全变量或完全变量，不影响样本的无偏性。如家庭地址缺失。
随机缺失：指数据的缺失不是完全随机的，即该类数据的缺失依赖于其他完全变量。如财务数据缺失，其与企业规模有关。
非随机缺失：指的是数据的缺失与不完全变量自身的取值有关。如高收入人群不愿意提供家庭收入。
数据缺失的类型关乎我们如何去处理缺失数据。对于后两种情况，直接删除记录是不合适的。随机缺失可以通过已知变量对缺失值进行估计，而非随机缺失的非随机性目前还没有很好的解决办法。
啰嗦了这么多，那么该如何去处理缺失数据？数据处理的方法又有哪些呢？
处理不完备的数据集主要分为以下三类：
删除记录
数据填充
不处理
1
.删除记录
该方法方便快捷，简单粗暴。但其牺牲了大量数据，可能会丢失许多隐藏重要信息，尤其是在缺失数据占比较大时，可能会直接导致数据的分布发生变化，导致得出错误的结论。该方法适用于缺失数据相对样本数据来说很少的情况。可以使用`pandas`中的`dropna`直接删除有缺失值的特征。
# 直接删除含有缺失值的行df.dropna(how='any',axis = 0) df.dropna() # 等价形式# 直接删除含有缺失值的列df.dropna(how='any',axis = 1) # 只删除全是缺失值的行df.dropna(how = 'all')2
.数据填充
该方法是用一定值去填充空值，进而使数据完备。通常有以下三大类填充方法，分别为`替换缺失值`、`拟合缺失值`和`虚拟变量`。
（1）均值填充。将所有属性划分为数值属性和非数值属性，若空值是定量的，则按该属性在其他所有对象取值的`均值`或`中位数`来填充；若空值是定性的，则用该属性在其他所有对象的众数来填充。此方法简单不够精准，可能会改变特征原有分布。
# 使用var1的均值/中位数对 NA进行填充df['var1'].fillna(df['var1'].mean())df['var1'].fillna(df['var1'].median())
（2）热卡填充。它的思想十分简单，即找一个与缺失值对象最相近的对象来进行填充。通常会找到不止一个相似对象，在所有匹配对象中没有最好的，而是从中随机挑选一个作为填充值。不同的问题可能会选用不同的标准来对相似进行判定，但定义相似标准较难，主观因素太多。
（3）K最近距离邻法。先根据`欧氏距离`或`相关分析`来确定距离具有缺失数据样本最近的K个样本，将这K个值加权平均来估计该样本的缺失数据。
（4）使用所有可能的值填充。该方法是用空缺属性值的所有可能的属性取值来填充，能得到较好的补齐效果。但当数据量较大、遗漏的属性值较多时，其计算代价较大。
# 导入随机森林模块from sklearn.ensemble import RandomForestRegressor# 定义函数def set_missing_ages(df): #把数值型特征都放到随机森林里面去 age_df=df[['Age','Fare','Parch','SibSp','Pclass']] known_age = age_df[age_df.Age.notnull()].as_matrix() unknown_age = age_df[age_df.Age.isnull()].as_matrix() y=known_age[:,0] # y是年龄，第一列数据 x=known_age[:,1:] # x是特征属性值，后面几列 rfr=RandomForestRegressor(random_state=0,n_estimators=2000,n_jobs=-1) #根据已有数据去拟合随机森林模型 rfr.fit(x,y) #预测缺失值 predictedAges = rfr.predict(unknown_age[:,1:]) #填补缺失值 df.loc[(df.Age.isnull()),'Age'] = predictedAges return df,rfr虚拟变量是缺失值的一种衍生变量。具体做法是通过判断特征值是否有缺失值来定义一个新的二分类变量。比如，特征为A含有缺失值，我们衍生出一个新的特征B，如果A中特征值有缺失，那么相应的B中的值为1，如果A中特征值没有缺失，那么相应的B中的值为0。某案例代码如下：
# 复制该列数据到 CabinCatdata_train['CabinCat'] = data_train['Cabin'].copy()# 设置虚拟变量data_train.loc[ (data_train.CabinCat.notnull()), 'CabinCat' ] = 'No'data_train.loc[ (data_train.CabinCat.isnull()), 'CabinCat' ] = 'Yes'# 查看data_train[['Cabin','CabinCat']].head(10)
前两类方法仅仅是用我们的主观估计值填补未知值，我们或多或少地改变了原始的数据集。而且，对空值不正确的填充往往将新的噪声引入数据中，使挖掘任务产生错误的结果。因此，在许多情况下，我们还是希望在保持原始信息不发生变化的前提下对信息系统进行处理。另外，有一些模型本身就足以应对具有缺失值的数据，此时无需对数据进行处理，比如`XGBoost`等高级模型。
以下通过一个案例来简单学习一下缺失值处理常用的几种方法。