1. nan 的处理
先讲一个真事：
在 Kaggle 的一个竞赛里面，是要求预测哪些大学的基金项目会得到批复而那些不会。随后一个参赛者通过其中某一列的 nan 与否特征的预测，得到了金奖。事后证明，这个学校在填入资料的时候，如果这项基金不会被批复，那么他们就不会继续填入更多信息。因此 nan 的填写与否反而由于 data leakage 的原因成为了这个竞赛里面最重要的特征。
但是呢，nan 又没有办法直接喂给机器学习模型。因此我们可以针对所有的数据列，做如下操作：
1. 选取所有的 数字列；
2. 如果该列的 nan 数目大于 1，则填充 fillna 为该列均值，或者任意制定数值；
3. 在整个 dataframe 后加入一列，记录该列的 nan 的 True/False 情况；
def fill_na(df, na_data={}):
cols = df.select_dtypes(include='number')
for col in cols: if df[col].isnull().sum() > 0:
df[col+'_na'] = df[col].isnull()
fillna = na_data[col] if col in na_data else df[col].median()
df[col].fillna(fillna, inplace=True)
%time fill_na(df_cat)
2. sklearn 中 boostrapping 的优化 —— 处理模型中数据太少的问题
其实之前已经介绍到过 boostrapping，但是没有详细介绍。
左边的橙色是数据库，我们在选取子集进行模型学习的时候，每次都可以选择一个子集并重复采样，这样可以增加用于训练的数据，这个就是 boostrapping。尽管看上去这样的方式并不会增加数据的多样性，但是神奇的是，反复的学习的确可以提高模型精度，但是也会增加过拟合的风险。
在 sklearn 里面，这个参数暂时是无法更改的，但是我们可以用过修改内置函数的方式来 hacking，增加训练数据的个数。
from sklearn.ensemble import forest
def set_rf_samples(n):
""" Changes Scikit learn's random forests to give each tree a random sample of n random rows. """
forest._generate_sample_indices = (lambda rs, n_samples: forest.check_random_state(rs).randint(0, n_samples, n))
set_rf_samples(5000)
通过上述修改，我们可以将训练集的 boostraing 个数进行任意设置。
一起来动手试试吧！
