分类的概述
分类是有监督学习问题。
具体应用例子有——信用风险评估，预测用户未来是否违约；医学诊断，根据肿瘤细胞的特征，进行良性和恶性的分类；市场营销，预测对用户对新产品的喜好；电子邮箱，划分正常邮件和垃圾邮件。
分类的过程：分类器训练和预测，训练集被用来训练分类器，测试集用来评估分类器的效果。
常见的分类有逻辑回归、K近邻、决策树、朴素贝叶斯、支持向量机
评估分类的指标：正确率、F值、精度、召回率
逻辑回归
从线性回归到逻辑回归
线性回归
y的取值范围为{1，-1}，不能直接解决问题，因此引入一个逻辑斯特函数
Logistic
则样本为正类的概率：
为负类的概率
整合成公式
参数估计：极大似然法
训练集的似然函数：
取对数：
求目标函数最小值的方法：梯度下降法
代码实现：
from sklearn linear_model import LogisticRegression
clf = LogisticRegression(random_state=10)#模型构建
clf.fit(train_x,train_y)#模型训练
决策树模型
如何选择节点特征和节点分裂点？
不纯度：表示落在当前节点的样本的类别分布的均衡程度。决策树分裂节点的目标是使得节点分裂前后，样本的类别分布更加不均衡，即不纯度需要降低。
度量不纯度的方法：Gini指数（Gini index）、信息熵（entropy）、误分率（misclassification error）
Gini指数（Gini index）
以信息增益作为划分训练数据集的特征，存在偏向于选择取值较多的特征的问题。使用信息增益比可以对这一问题进行校正。这是特征选择的另一准则。
信息熵（entropy）
信息增益
分裂信息（ 惩罚项 ）
信息增益率
信息增益率通过分裂信息对信息增益进行调整，可以避免过度拟合。
决策树算法
输入：训练数据集D，目标特征Y，特征集F
输出：决策树T
代码
from sklearn import tree
from sklearn.treeimport DecisionTreeClassifier
credit_model = DecisionTreeClassifier(min_samples_leaf =6)
credit_model.fit(X_train, y_train)
from sklearn.externals.siximport StringIO
from IPython.displayimport Image
import pydot
dot_data = StringIO()
tree.export_graphviz(credit_model,out_file = dot_data,
feature_names = X_train.columns,
class_names=['no default','default'],
filled =True,rounded =True,
special_characters =True)
graph = pydot.graph_from_dot_data(dot_data.getvalue())
#Image(graph.create_png())#在实现时这里报错，原因是因为sklearn升级后已没有该功能
#graph.write_jpg("myfile.jpg")#这是在网上找的解决方法，但是仍然报错了，还未解决
