1、集成学习

前几篇写了常见的几个机器学习算法，用这些算法训练出的模型各有优劣。而在实际的工程中，目标一定是贪心的，想要的更多地是万无一失。不难想到，把所有的模型集成在一起，做一个强大的、拥有更多优势的模型，以“饱和式救援”的思路来保证万无一失，这便是集成学习的原理。

当把模型集成到一个大的模型中时，最终的结果听谁的又成了一个问题，一般会有两种解决方案：硬投票-hard_voting和软投票-soft_voting。硬投票，就是少数服从多数。软投票，就是综合了各个算法预测标签的概率，基于概率平均的投票，所以软投票的前置条件是集成的每个算法都能估计概率。

硬投票-hard_voting

软投票-soft_voting

从投票的角度来看，集成的模型越多越好，但机器学习的算法训练出的模型还是远远不够的。那么既然算法的类别只有这几类，训练出各个算法的不同子模型就是增加模型个数的一种解决方案。训练出不同子模型，重点就是模型的差异性，如何创建差异性呢？

这种差异性是通过每个子模型只看样本数据的一部分实现的。对于取数据，取样方式分为放回取样Bagging和不放回取样Pasting，更常用的是Bagging方式，统计学中叫bootstrap。对于每个子模型来讲，因为看的样本数据减少了，那么准确率肯定会降低。但从整体的效果而言，子模型的准确并不需要太高的准确率，如果单个子模型的准确率是51%的话，500个子模型最终效果可以达到65.6%；如果单个子模型的准确率是60%的话，500个子模型最终效果就可以达到99.999%。

采用bobo老师创建简单测试用例

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.model_selection import train_test_split

# 创建测试数据
X, y = datasets.make_moons(n_samples=500, noise=0.3, random_state=42)

plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
plt.show() # 见plt.show1

plt.show1

X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42) # 创建训练和测试数据

from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import VotingClassifier

# 使用 Hard Voting Classifier
voting_clf = VotingClassifier(estimators=[
    ('log_clf', LogisticRegression()), 
    ('svm_clf', SVC()),
    ('dt_clf', DecisionTreeClassifier(random_state=666))],voting='hard') 

voting_clf.fit(X_train, y_train)
voting_clf.score(X_test, y_test)
# 0.89600000000000002


# 使用 Soft Voting Classifier
voting_clf2 = VotingClassifier(estimators=[
    ('log_clf', LogisticRegression()), 
    ('svm_clf', SVC(probability=True)),#probability=True，概率
    ('dt_clf', DecisionTreeClassifier(random_state=666))],
                             voting='soft') 

voting_clf2.fit(X_train, y_train)
voting_clf2.score(X_test, y_test)
# 0.91200000000000003

2、随机森林

随机森林，就是一种集成学习。它的子模型是一棵一棵的决策树，决策树作为一种非参数学习算法，使用它创建子模型更能产生差异性。

采用bobo老师创建简单测试用例

from sklearn.ensemble import RandomForestClassifier

rf_clf = RandomForestClassifier(n_estimators=500, oob_score=True, random_state=666, n_jobs=-1)
rf_clf.fit(X, y)
rf_clf.oob_score_
# 0.89200000000000002

rf_clf2 = RandomForestClassifier(n_estimators=500, max_leaf_nodes=16, oob_score=True, random_state=666, n_jobs=-1)
rf_clf2.fit(X, y)
rf_clf2.oob_score_
# 0.90600000000000003