人工智能复习1

机器学习项目流程

1 定义问题

1.1 数据获取

1.2 业务需求分析

1 业务场景分析,了解业务背景知识
2 讲业务场景转化成相关问题
3 选择合适的算法
4 测试算法可靠性

1.3 设定问题

确定应用场景,到底是那种机器学习类型,监督,无监督,或者混合起来解决
确定学习类型,在线还是批量,是不是以数据流的形式 持续学习

1.4 确定评估指标

RMSE 均方根误差
MAE 平均绝对误差

1.5 验证问题准确性

测试预测是否准确

2 数据获取研究处理

2.1 感性查看数据

DataFrame head() info() describe() hist()等方法

2.2 分割测试集

随机sklearn.model_selection.train_test_split
分层 某一特征下的子群体差异较大
sklearn.model_selection.StratifiedShuffleSplit

2.3 研究数据

寻找特征之间的关系

  • 皮尔逊相关系数
  • scatter_matrix
  • 组合成新属性

2.4 处理数据

1 处理缺失值,去除不可靠特征
2 文本图像转化为数值类型
3 特征缩放,归一化,标准化

3 模型

选择3-5个模型
1 训练集上评估性能
2 基于验证集评估性能,交叉验证
3 微调模型
网格搜索,随机搜索
4 集成模型
5 测试集评估

4 形成解决方案

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Machine Learning in Python (Scikit-learn)-(No.1) 作者:范淼(人人...
    hzyido阅读 11,381评论 2 13
  • 本内容为Udacity课程波士顿房价预测项目,欢迎阅读,有错的地方请留言。仅参考不建议作为其他用途。 优达学城毕业...
    MrMiaow阅读 14,860评论 1 18
  • 目录 1 特征工程是什么?2 数据预处理2.1 无量纲化2.1.1 标准化2.1.2 区间缩放法2.1.3 标准化...
    亲爱的十一熊猫阅读 4,940评论 0 0
  • 机器学习工程师纳米学位 模型评价与验证 项目 : 预测波士顿房价 第一步. 导入数据 在这个项目中,你将利用马萨诸...
    代号027阅读 9,212评论 0 1
  • 昨天是我三十六岁生日,从未如此从内心重视过自己的生日,或许本命年吧,今年比往年要关注。 因为孩子没人带,所以中午选...
    一言一诺阅读 2,325评论 3 3