我又来解析代码了，今天解析的部分是优化测试集。
1、使用每个实例的ID来判定这个实例是否应该放入测试集（假设每个实例都有唯一并且不变的ID)
import hashlib #提供字符加密功能，将md5和sha模块整合到了一起
def test_set_check(identifier,test_ratio,hash):
return hash(np.int64(identifier)).digest()[-1] < 256 * test_ratio #求出ID哈希值最后一个字节是否满足<256*ratio
def split_train_test_by_id(data, test_ratio, id_column, hash=hashlib.md5):
ids = data[id_column] #按索引找出id
in_test_set = ids.apply(lambda id_:test_set_check(id_, test_ratio, hash)) #对所有数据进行划分
return data.loc[~in_test_set], data.loc[in_test_set] #返回满足条件的划分为训练集和测试集
函数说明：
hash.digest() 返回摘要，作为二进制数据字符串值
np.int64()强转为int64类型，和int不是一个类型。
apply() 将函数应用到由各列或行形成的数组上
lambda匿名函数
loc通过标签索引行数据
2、使用行索引作为ID
housing_with_id = housing.reset_index() #使用行索引做id
housing_with_id["id"] = housing["longitude"] * 1000 + housing["latitude"] #使用经度和纬度作为id
train_set, test_set = split_train_test_by_id(housing_with_id, 0.2, "id") #进行划分
3、(另一种划分方式)使用sk-learn中的函数划分
from sklearn.model_selection import train_test_split
train_set, test_set = train_test_split(housing, test_size=0.2, random_state=42) #进行划分
函数解释：
train_set_split():带有random_state参数，可以设定随机生成器种子；可以将种子传递给多个行数相同的数据集，可以在相同的索引上分割数据集
4、按照中位数分层划分
housing["income_cat"] = np.ceil(housing["median_income"] / 1.5) #中位数处以1.5向上取整
housing["income_cat"].where(housing["income_cat"] < 5, 5.0, inplace=True) #将所有大于5的分类归入到分类 5
from sklearn.model_selection import StratifiedShuffleSplit
split = StratifiedShuffleSplit(n_splits=1, test_size=0.2, random_state=42) #对数据集进行划分，n_splits是将训练数据分成train/test对的组数，test_size是所占比例，random_state控制是将样本随机打乱
for train_index, test_index in split.split(housing, housing["income_cat"]):#按照划分器进行划分
strat_train_set = housing.loc[train_index]
strat_test_set = housing.loc[test_index]
print(housing["income_cat"].value_counts() / len(housing))#查看收入分配比例
for set in (strat_train_set, strat_test_set): #删除income_cat属性
set.drop(["income_cat"], axis=1, inplace=True)
函数解释：
StratifiedShuffleSplit() :对数据集进行划分，n_splits是将训练数据分成train/test对的组数，test_size是所占比例，random_state控制是将样本随机打乱
今天到这里完成了训练集和测试集的划分，下次就可以研究训练集了，加油！
