一、赛题理解
1、赛题题目：零基础入门数据挖掘 - 二手车交易价格预测
2、 赛题概况
训练集：15万条
测试集A：5万条
测试集B：5万条
特征+标签（包括15个显著特征和15个匿名特征）
SaleID - 销售样本ID
name - 汽车编码
regDate - 汽车注册时间
model - 车型编码
brand - 品牌
bodyType - 车身类型
fuelType - 燃油类型
gearbox - 变速箱
power - 汽车功率
kilometer - 汽车行驶公里
notRepairedDamage - 汽车有尚未修复的损坏
regionCode - 看车地区编码
seller - 销售方
offerType - 报价类型
creatDate - 广告发布时间
和规范化
price - 汽车价格
v_0', 'v_1', 'v_2', 'v_3', 'v_4', 'v_5', 'v_6', 'v_7', 'v_8', 'v_9', 'v_10', 'v_11', 'v_12', 'v_13','v_14' 【匿名特征，包含v0-14在内15个匿名特征】
3、 预测指标
本赛题为典型的回归问题，赛题使用的评价标准为MAE(Mean Absolute Error)
一般问题评价指标说明:
分类问题：①对于二类分类器/分类算法，评价指标主要有accuracy， [Precision，Recall，F-score，Pr曲线]，ROC-AUC曲线。②对于多类分类器/分类算法，评价指标主要有accuracy， [宏平均和微平均，F-score]。*
回归问题：平均绝对误差（Mean Absolute Error，MAE），均方误差（Mean Squared Error，MSE），平均绝对百分误差（Mean Absolute Percentage Error，MAPE），均方根误差（Root Mean Squared Error）， R2（R-Square）
分类指标评价计算示例
## accuracy
import numpy as np
from sklearn.metrics import accuracy_score
y_pred = [0, 1, 0, 1]
y_true = [0, 1, 1, 1]
print('ACC:',accuracy_score(y_true, y_pred))
>>ACC: 0.75
## Precision,Recall,F1-score
from sklearn import metrics
y_pred = [0, 1, 0, 0]
y_true = [0, 1, 0, 1]
print('Precision',metrics.precision_score(y_true, y_pred))
print('Recall',metrics.recall_score(y_true, y_pred))
print('F1-score:',metrics.f1_score(y_true, y_pred))
>>Precision 1.0
Recall 0.5
F1-score: 0.666666666667
## AUC
import numpy as np
from sklearn.metrics import roc_auc_score
y_true = np.array([0, 0, 1, 1])
y_scores = np.array([0.1, 0.4, 0.35, 0.8])
print('AUC socre:',roc_auc_score(y_true, y_scores))
>>AUC socre: 0.75
回归指标评价计算示例
# coding=utf-8
import numpy as np
from sklearn import metrics
# MAPE需要自己实现
def mape(y_true, y_pred):
return np.mean(np.abs((y_pred - y_true) / y_true))
y_true = np.array([1.0, 5.0, 4.0, 3.0, 2.0, 5.0, -3.0])
y_pred = np.array([1.0, 4.5, 3.8, 3.2, 3.0, 4.8, -2.2])
# MSE
print('MSE:',metrics.mean_squared_error(y_true, y_pred))
# RMSE
print('RMSE:',np.sqrt(metrics.mean_squared_error(y_true, y_pred)))
# MAE
print('MAE:',metrics.mean_absolute_error(y_true, y_pred))
# MAPE
print('MAPE:',mape(y_true, y_pred))
>>MSE: 0.287142857143
RMSE: 0.535857123815
MAE: 0.414285714286
MAPE: 0.14619047619
## R2-score
from sklearn.metrics import r2_score
y_true = [3, -0.5, 2, 7]
y_pred = [2.5, 0.0, 2, 8]
print('R2-score:',r2_score(y_true, y_pred))
>>R2-score: 0.948608137045
4、宝贵的前人经验
1） 赛题理解究竟是理解什么：①分析赛题的任务逻辑②寻找赛题数据的关联逻辑②寻找对赛题可能有意义的外在数据④如何做到线上线下的一致性⑤EDA
2） 有了赛题理解后能做什么：①分析赛题的难点，关键点，突破点②分析那些数据可靠，哪些数据需要进行精密处理，哪些数据时关键数据（此处可以通过业务进行一些分析）
3） 赛题理解的-评价指标：①构建一个合理的本地的验证集和验证的评价指标②不同的评价指标有一定的差异性，这值得注意
4） 赛题背景中可能潜在隐藏的条件：遇到问题，反复斟酌赛题背景
二、EDA-数据探索性分析
1、EDA目标
①EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。
②当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。
③引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。
④完成对于数据的探索性分析，并对于数据进行一些图表或者文字总结并打卡。
2、EDA代码示例
1、载入各种数据科学以及可视化库
#coding:utf-8
#导入warnings包，利用过滤器来实现忽略警告语句。
import warnings
warnings.filterwarnings('ignore')
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import missingno as msno
2、载入数据（遇到问题：文件中斜杠尽量用,不要用/）
## 1) 载入训练集和测试集；
path = './datalab/231784/'
Train_data = pd.read_csv(path+'used_car_train_20200313.csv', sep=' ')
Test_data = pd.read_csv(path+'used_car_testA_20200313.csv', sep=' ')
2) 简略观察数据(head()+shape)
Train_data.head().append(Train_data.tail())
Train_data.shape
Test_data.head().append(Train_data.tail())
Test_data.shape
3、总览数据概况
## 1) 通过describe()来熟悉数据的相关统计量（包括count，mean，std，min，25%，50%，75%，max）
Train_data.describe()
Test_data.describe()
## 2) 通过info()来熟悉数据类型（显示每一列的数据类型）
Train_data.info()
Test_data.info()
4、判断数据缺失和异常
## 1) 查看每列的存在nan情况
Train_data.isnull().sum()
Test_data.isnull().sum()
# nan可视化
missing = Train_data.isnull().sum()
missing = missing[missing > 0]
missing.sort_values(inplace=True)
missing.plot.bar()
# 可视化看下缺省值（sample是随机采样函数）
msno.matrix(Train_data.sample(250))
#热力图（展示的是两个特征的缺失关系--从-1到1）
msno.heatmap(Train_data,figsize=(7, 7))#figsize是指图的大小
msno.bar(Train_data.sample(1000))
# 可视化看下缺省值
msno.matrix(Test_data.sample(250))
msno.bar(Test_data.sample(1000))
