如今火热的机器学习大致分为两类：监督学习和非监督学习。监督学习主要是分类,通过训练已知样本数据得出最优模型，然后据此对待测试数据进行预测或分类，典型算法有KNN、SVM。而非监督学习没有原始数据，把相似的聚集起来，不关心这一类具体是什么，如K-Means。
对于监督学习，当我们获取客观数据之后，第一步就是对数据进行清洗。因为原始数据有可能很粗糙，数据缺失、属性冗余等问题会直接影响后续模型的性能。因此大家说，数据处理和特征工程决定了机器学习的上限，而模型的调优则是在尽力接近这个上限。

注 由于scikit-learn只支持对数值类型的处理，所以只处理数值型缺失值。非数值型数据需要转换成数值型数据，这部分内容后文会提到。还有，TensorFlow支持非数值型数据。

方法1：直接丢弃

frame.dropna(axis=1)
# or 
cols_with_missing = [col for col in frame.columns if frame[col].isnull().any()]
frame.drop(cols_with_missing, axis=1)

方法2：填充

• 简单粗暴型： frame.fillna(value=5) 直接填充指定值
• 柔和型：

from sklearn.preprocessing import Imputer
my_imputer = Imputer()
# fill the missing with mean value of corresponding column
my_imputer.fit_transform(data)

----------------------------------------------------
## 改进版，告诉模型哪些列的数据是缺失，填充而来的
for col in cols_with_missing:
    frame[col+'_was_missing'] = frame[col].isnull()

Imputation...

• 体贴型

from sklearn.tree import RandomForestRefressor
from sklearn.model_selection import train_test_split
cols_with_missing = [col for col in frame.columns if frame[col].isnull().any()]
# 选择随机森林回归预测缺失值
rfr = RandomForestRegressor(random_state=1)


for col in cols_with_missing:
  unkown = frame[frame.col.isnull()]
  known = frame[frame.col.notnull()]
  
  train_y = known[col]
  train_X = konwn.drop(col, axis=1)
  
  test_X = unkown.drop(col, axis=1)
  rfr.fit(train_X, train_y)
  predictions = rfr.predict(test_X)
  frame.loc[(frame.col.isnull()), col] = predictions 

注意： 有的模型本身提供缺失值处理流程，<font color='red'>但我们 不应该过分依赖模型，缺失值应该由我们处理。</font>因为模型提供的缺失值处理通用性强，而不同问题的特征数据应该根据内在逻辑进行具体分析和修正。下面介绍两种填充缺失值的常见模型。

1. 决策树
   以随机森林为例

   • 用对应列的中位数填充，非数值型用众数填充
   • 先进行相似性度量，然后赋予权重。

2. XGBoost
   把缺失值视为稀疏矩阵，构建树时先不考虑数据缺失，把缺失的数据放到左右子树，分别计算损失(loss function)，择优处理。如果训练集没有缺失数据，预测时出现缺失数据，则将其默认分到右子树。

3. 数据缺失时，选择模型小结：
   a. 数据量小：优先使用朴素贝叶斯
   b. 数据量适中： 树模型，偏用XGBoost
   c. 数据量较大：神经网络
   d. 使用距离来度量相似性： KNN, SVM