- 连续变量的模型，如何来衡量模型结果？（回归）
- 二分类问题
- 假设检验，p-value
- confusion matrix 混淆矩阵
- 召回率，准确率
- F1-score
- ROC & AUC
3.多分类模型如何衡量模型结果？
4.imbalanced问题
image.png
image.png
2. 连续变量的模型，如何来衡量模型结果？
image.png
误差：观测值和真值之间的差别
残差：预测值和观测值之间的差别
image.png
3. 二分类问题
- 假设检验
- 原假设，事件，事件的概率分布
- p-value： 在原假设成立时，出现观测值以及更极端情况的概率
- 备择假设
- Threshold分类阈值
- 设立分类阈值的结果：第一类错误(假阳性)：弃真，第二类错误：存伪
- 定义阈值的分类效果：显著性水平α
- α, β,1−β
- ROC曲线以及其性质:
0.横纵坐标，1. 一般来说面积>0.5, 2. 斜率为正 - 什么样的ROC曲线更好？
- ROC曲线历史
- confusion matrix：弃真存伪
- 召回率，准确率
- F1-score
我们这⾥不涉及任何具体的统计分布
image.png
image.png
image.png
image.png
α=false positive rate
β=false negative rate
power =1−β = true positive rate
- ROC曲线(衡量分类效果)以及其性质:
0.横纵坐标 横坐标：false positive 纵坐标：true positive
一般来说面积>0.5
斜率为正
3.位于45°线上方
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
计算F1 score
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline
from sklearn.metrics import f1_score
y_true = [0,0,0,0,1,0,0,0,0,1,1,1,1,0,0,0,1,1,1,0,0,0,0,0,0]
y_pred = [0,0,0,0,1,1,0,0,0,0,0,1,0,1,1,0,0,1,1,0,0,0,1,0,1]
f1_score(y_true,y_pred)
from sklearn.metrics import precision_score, recall_score, accuracy_score
from sklearn.metrics import
precision_score(y_true, y_pred)
recall_score(y_true,y_pred)
y_true = [0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,1,1,0,0,0,0,0,0]
y_pred = [0,0,0,0,0,0,0,0,0,0,0,0,1,1,0,0,0,0,1,0,1,1,1,0,0]
from sklearn.metrics import f1_score,accuracy_score,precision_score,recall_score
accu=accuracy_score(y_true,y_pred) #分类准确率
prec = precision_score(y_true,y_pred) #准确度
reca = recall_score(y_true,y_pred) #召回率
F1_score = f1_score(y_true,y_pred)
练习计算与画ROC
- 生成原始数据
- 使用模型进行分类
- 用ROC进行效果衡量
from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression
from sklearn.cross_validation import train_test_split
X,y = make_classification(n_samples=10000,n_features=10,n_classes=2,n_informative=5) #特征，标签
X_train,X_test, y_train,y_test = train_test_split(X,y, test_size=0.2,random_state=0)
clf = LogisticRegression()
clf.fit(X_train,y_train)
from sklearn.metrics import roc_auc_score,roc_curve
preds = clf.predict_proba(X_test)[:,1]
fpr,tpr,_=roc_curve(y_test,preds)
df = pd.DataFrame(dict(fpr=fpr,tpr=tpr))
roc_auc= roc_auc_score(y_test,preds)
plt.figure(figsize=[9,8])
lw = 2
plt.plot(fpr, tpr, color='orange',
lw=lw, label='ROC curve (area = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver operating characteristic Line')
plt.legend(loc="lower right")
plt.show()
4. 多分类模型，如何衡量模型结果？
- 直观上不容易像连续变量一样定义每个预测值离观测值的距离(欧几里得距离）
- 多分类时，多用cross-entropy 来衡量分类的结果
image.png
- 信息熵的特点：
- 衡量混乱程度，信息熵越大，越混乱
5. imbalanced问题
imbalance data就是指正负样本数量相差太大，一类占10%甚至1%以下，另外一类占绝大多数，这对机器学习算法是个现实的挑战。
用什么样的衡量方式？不能光看accuracy
1000个样本，大多数（980）都属于负样本，正样本只有20个，算法容易被负样本带偏。
传统方法（决策树，逻辑回归）倾向于预测样本量大的类别，小样本就被认为是噪音，被忽略了
如何应对imbalanced datasets?
-
使用合适的衡量方式
- F1
-
重新采样(resampling)
- random under-sampling
- 原有分布：负样本980，正样本20
- under-sampling后：负样本98,正样本20
- 优点：
- 提升运算效率，减少运算时间
- 缺点：
- 有可能丢失重要的信息
- 对总体的估计可能是有偏差的
- random over-sampling
- 原有分布：负样本980，正样本20
- over-sampling后：负样本980，正样本500
- 优点：
- 保留了所有有用信息
- 缺点：
- 有可能overfiting，过拟合
- 基于cluster 的重新采样（先用聚类方法找出子类）
- 原有分布：负样本3类：每类数量 200，400，380，正样本两类：每类数量 13，7
- 重新采样后：负样本3类：数量 300，300，300，正样本两类：每类数量 150，150
- 优点：
- 既解决不同类的样本不均等，又解决同类中子类间的样本不均等
- 缺点：
- 有可能过拟合
- 合成数据 <span style="color:blue">SMOTE</span>
- 原有分布：负样本980，正样本20
- 合成数据后后：负样本980，正样本500 （非重复采样，而是生成正样本数据））
<img src='./smote.png',width=500> - 优点：
- 保留负样本所有信息
- 减缓过拟合
- 缺点：
- SMOTE生成的数据可能引入更多的噪音
- 对高维的数据效果不好
- random under-sampling
集成算法
