赛题理解部分
一、赛题理解
1.赛题理解
1.1了解赛题类型：回归、分类、其他
1.2赛题背景：是否包含异常值、确实、漂移；是否包含多种情况，需要注意模型的繁华性；高效性、工序流程的差异性，模型运行时间、系统鲁棒性
2.数据理解
2.1字段含义
2.1.1明确的特征：分类、连续、变量间的交互
2.1.2匿名特征处理：四则运算、取log、统计指标等
2.2数据量：观察数据量以了解需要电脑配置的情况
2.3评测标准
2.31回归常用标准：MAE/MSE/R^2
2.3.2线下验证的时候魔性评价指标和线上保持一致
2.3.3不同指标带来的差异效果是不一样的。eg.MSE会极大地放大偏差
2.4结果提交：关注细节；是否需要列名等
3.分析赛题
3.1经验：数据比赛一般常用模型：XGB/LGBM；sklearn是入门数据比赛非常好的一个包，可重点学习
3.2回归问题：数据分析、特征的构建、选用好的模型
3.3代码分析：pandas读取数据、各类指标可以用sklearn/metrics包创建
4.baseline讲解
4.1大佬比赛流程
1）先写一个baseline提交
2）在baseline基础上做优化：数据处理、特征处理、模型调参
3）模型融合
4.2读取数据、数据统计信息：info(),head(),describe()统计信息；
对比train和test的情况：是否统计信息相近？若相近：分布较为一致，模型效果较稳定；若不一致，可能需要对train做一些采样处理是两者分布接近
4.3特征类型：数值型、分类型
4.4标签的分布：原理上来说，train和test的概率分布应该是一致的
4.5模型的构建：
1）XGB,LGB函数；
2）param_grid网格调参
3）切分数据集: train:validation=7:3/4:1
4)对比不同模型的结果解读：均值、方差；将预测结果与train data对比，看是否统计指标接近？是否有特殊的点需要关注处理？结合实际含义
5）不同模型的结果加权
EDA部分
一、EDA
1.EDA用途：
数据表达了什么
挖掘数据结构：结构化、图像等
初步分理处一些重要特征
挖掘离群数据和异常数据
初步确定可以用哪些模型
2.绘图方法
时序图：变化规律
直方图：分布
密度曲线：分布
箱型图：查看数据异常状况；不同数据间分布的对比
小提琴图：进阶版箱型图，看某个值附近的概率分布
3.量化方法
3.1相关性分析：定类变量，性别；定序变量，教育程度；定距变量，价格
3.2独立性分析：变量间无线性相关性，还可能存在非线性关联；MVtest独立性检验——去大佬github看，有复现的python包
二、Q&A
问：EDA通常会进行异常值分析，一般为了模型效果，会剔除掉异常值。那如果测试集或带预测的数据本身就包含异常值的情况呢？这种情况该如何处理？
答：可以自己构造一些规则去应用到test数据集中
三、代码实战
普通回归模型要求考虑多重共线性问题，XGB、随机森林等不需要；
pairplot图的效果比相关系数热力图效果好
