05模型建立与评价

1.认识监督学习与非监督学习

有监督学习:的任务是学习一个模型,使模型能够对任意给定的输入,对其相应的输出做出一个好的预测。即:利用训练数据集学习一个模型,再用模型对测试样本集进行预测。线性回归算法、BP神经网络算法、决策树、支持向量机、KNN等

无监督学习:自动对输入的资料进行分类或分群,以寻找数据的模型和规律。 (KMeans,DL)

2.模型搭建

2.1切割训练集和测试集

方法有:留出法,交叉验证法,自助法

sklearn中切割数据集的方法为train_test_split

X_train,X_test, y_train, y_test =sklearn.model_selection.train_test_split(train_data,train_target,test_size=0.4, random_state=0,stratify=y_train)

 train_data:所要划分的样本特征集

train_target:所要划分的样本结果

test_size:样本占比,如果是整数的话就是样本的数量

random_state:是随机数的种子。其实就是该组随机数的编号,在需要重复试验的时候,保证得到一组一样的随机数。比如你每次都填1,其他参数一样的情况下你得到的随机数组是一样的。但填0或不填,每次都会不一样。

stratify:是为了保持split前类的分布。用了stratify参数,training集和testing集的类的比例是 A:B= 4:1,等同于split前的比例。通常在这种类分布不平衡的情况下会用到stratify。

将stratify=X就是按照X中的比例分配 ,将stratify=y就是按照y中的比例分配 

2.2模型创建

2.2.1逻辑回归:LogisticRegression,分类模型

逻辑回归模型默认参数:

(1)调用逻辑回归模型

(2)计算训练集和测试集的得分

(3)调参

2.2.2随机森林:RandomForestClassifier,是决策树集成为了降低决策树过拟合的情况

随机森林模型默认参数:

(1)调用随机森林模型

(2)计算训练集和测试集的得分

(3)调参

2.3输出预测结果

一般监督模型在sklearn里面有个predict能输出预测标签,predict_proba则可以输出标签概率

2.4模型评估

回归模型的评估:平均绝对误差(Mean Absolute Error,MAE)、均方误差(Mean Squared Error,MSE)、R-square(决定系数)、Adjusted R-Square (校正决定系数)、交叉验证(Cross-Validation)

分类模型的评估:准确率、精确率、召回率、f1_score,混淆矩阵,ks,ks曲线,ROC曲线,psi等


(1)交叉验证是 k 折交叉验证(k-fold cross-validation),其中 k 是由用户指定的数字,通常取 5 或 10。

(2)混淆矩阵

准确率(precision)度量的是被预测为正例的样本中有多少是真正的正例

召回率(recall)度量的是正类样本中有多少被预测为正类

(3)ROC曲线

ROC曲线能很容易的查出任意阈值对学习器的泛化性能影响,有助于选择最佳的阈值。ROC曲线越靠近左上角,模型的查全率就越高。最靠近左上角的ROC曲线上的点是分类错误最少的最好阈值,其假正例和假反例总数最少。ROC曲线下面所包围的面积越大越好

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,132评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,802评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,566评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,858评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,867评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,695评论 1 282
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,064评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,705评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,915评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,677评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,796评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,432评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,041评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,992评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,223评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,185评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,535评论 2 343

推荐阅读更多精彩内容

  • 库的作用的了解 numpy:多用于科学计算中存储和处理大型矩阵,是数据科学实践中最常用的模块 pandas:数据处...
    忘词x阅读 104评论 0 0
  • 经过前面的两章的知识点的学习,我可以对数数据的本身进行处理,比如数据本身的增删查补,还可以做必要的清洗工作。那么下...
    趁着年轻去旅游阅读 356评论 0 0
  • 第三章 模型搭建和评估–建模 经过前面的两章的知识点的学习,我可以对数数据的本身进行处理,比如数据本身的增删查补,...
    loveiu阅读 358评论 0 0
  • 第五章 模型评价方法 5.1 模型的评价方法介绍 5.1.1~5 accuracy,precision,recal...
    茶尽阅读 14,930评论 3 9
  • 数据建模及模型评估 1.导入使用的包和数据 导包 import pandas as pdimport numpy ...
    cherry_7阅读 496评论 0 0