为巩固深度之眼比赛实战训练营课程的学习，接下来的时间将会在博客中记录一些比赛相关的内容以及心得体会。本篇文章是Kaggle入门比赛房价预测竞赛的第一部分：下载分析数据集与数据清洗。
1.下载数据集
访问：https://www.kaggle.com/c/house-prices-advanced-regression-techniques/data 下载数据集
2. 数据清洗（Data cleaning）
定义：对数据进行重新审查和校验的过程称为数据清洗过程，目的在于删除重复信息、纠正存在的错误并提供数据一致性。
难点：一般针对具体应用，因而难以归纳统一的方法和步骤，但是根据数据不同可以给出相应的数据清理方法。
方法：
1）解决缺失值：平均值、最大值、最小值或更为复杂的概率估计代替缺失的值
2）去重：相等的记录合并为一条记录（合并/清除）
3）解决错误值：用统计分析的方法识别可能的错误值或异常值，如偏差分析、识别不遵守分布或回归方程的值、规则库（常识性规则、业务特性规则）检查数据库、不同属性间的约束、外部数据来检测和清理数据
4）解决数据不一致性：比如类别型和次序型
场景：删除多列、更改数据类型、将分类变量转换为数字变量、检查缺失数据（NAN）、删除列中的字符串（一些无关的属性）、删除列中的空格、用字符串连接两列（带条件）、转换时间戳（字符串->日期时间格式）
3. 数据处理
定义：数据处理是对数据（数值型与非数值型）进行分析和加工的技术过程，让数据更好地拟合模型，更便于计算，减少计算量
方法：对数变换、标准缩放、转换数据类型、独热编码、标签编码
4. 关于Pandas
pandas是一个开源的，BSD许可的库，为Python 编程语言提供高性能，易于使用的数据结构和数据分析工具。pandas的官方文档：https://pandas.pydata.org/pandas-docs/stable/index.html 具体的内容可在文档查询。
4.1 pandas的两种数据结构
1）Series
Series是一维标记的数组，能够保存任何数据类型（整数，字符串，浮点数，Python对象等）
可以将其简单理解为一个向量，但不同的是，Serise会自动为一维数据创建行索引
Series本身的属性有两种，一种是index，一种是values
2）DataFrame
DataFrame是一个二维标记数据结构，具有可能不同类型的列。与Series一样，DataFrame接受许多不同类型的输入
Dataframe既有行索引index，也有列索引columns。其实可以简单把dataframe理解为一张数据表。
4.2 Pandas的部分可视化函数
.plot（）：画图
.plot.bar（）：条形图
.hist（）：直方图
.box（）：箱型图
.plot.area（）：区域图
.plot.scatter（）：散点图
.plot.hexbin（）：六角箱型图
.plot.pie（）：饼图
以上是理论相关部分，接下来对这两部分进行代码编写。
本代码中主要用到pandas
5. 代码编写
好啦，现在开始贴代码啦！这只是最开始的baseline代码编写，第一遍提交成绩在4000名以后，可以说非常差了。不过后续会随着学习改进这些代码哦~
思路：数据探索，对数据做一些修改-->数据清洗（填充空值）-->数据预处理（归一化、标准化等）-->模型构建-->训练预测-->保存提交
1 导包
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import pandas_profiling as ppf #探索性数据分析EDA
import warnings
warnings.filterwarnings('ignore') #忽略警告
%matplotlib inline
plt.style.use('ggplot')
from sklearn.preprocessing import LabelEncoder
from sklearn.preprocessing import RobustScaler,StandardScaler
2. 数据导入
train = pd.read_csv("train.csv") #数据读取
test = pd.read_csv("test.csv")
3. 数据探索
train.head() #默认显示前五行NAN为空值
train.tail() #查看数据后五行
test.head()
ppf.ProfileReport(train) #生成报告型文件
plt.figure(figsize = (15,8))
sns.boxplot(train.YearBuilt,train.SalePrice) #训练数据中建造年份与销售价格的相关性
#箱型图是看异常值的，离群点
plt.figure(figsize = (12,6))
plt.scatter(x = train.GrLivArea , y = train.SalePrice) #用来观察线性关系
plt.xlabel("GrLivArea" , fontsize = 13)
plt.ylabel("SalePrice" , fontsize = 13)
plt.ylim(0,800000) #限制y轴的最大值
train.drop(train[(train["GrLivArea"] > 4000) & (train["SalePrice"] < 300000)].index) #删除右下角点的索引
#直接删除了这两条数据的两行
#为防止后面对test做重复的工作，这里先将两个数据集合为一体
full = pd.concat([train,test],ignore_index = True)
#由于显示的id与数据集中的id重复，所以将其删掉
full.drop("Id",axis = 1 , inplace = True)
4. 数据清洗--空值填充、删除等
#查看缺失值并将个数从高到低排序
miss = full.isnull().sum() #如果是空则输出1
miss[miss> 0].sort_values(ascending = False) #false是由高到低进行排序
#对照着数据集的信息，查看缺失数据类型，对字符类型数据作为一种类型填充，数值型数据作为一种类型填充
full.info()
#将字符型数据的空值填充为None
cols1 = ["PoolQC" , "MiscFeature", "Alley", "Fence", "FireplaceQu", "GarageQual", "GarageCond", "GarageFinish", "GarageYrBlt", "GarageType", "BsmtExposure", "BsmtCond", "BsmtQual", "BsmtFinType2", "BsmtFinType1", "MasVnrType"]
for col in cols1:
full[col].fillna("None",inplace=True)
#将数值型数据的空值填充为0
cols2=["MasVnrArea", "BsmtUnfSF", "TotalBsmtSF", "GarageCars", "BsmtFinSF2", "BsmtFinSF1", "GarageArea"]
for col in cols2:
full[col].fillna(0, inplace=True)
#对lotfrontage的空值进行填充（用这一列的均值）
full["LotFrontage"].fillna(np.mean(full["LotFrontage"]),inplace=True)
#对缺失少的列进行众数填充
cols3 = ["MSZoning", "BsmtFullBath", "BsmtHalfBath", "Utilities", "Functional", "Electrical", "KitchenQual", "SaleType","Exterior1st", "Exterior2nd"]
for col in cols3:
full[col].fillna(full[col].mode()[0], inplace=True)
#查看哪些是还没填充好的，发现只有test的没有标签列
full.isnull().sum()[full.isnull().sum()>0]
5. 数据预处理
5.1 字符变成数值
#astype来进行数据转换成字符串类型
for col in cols3:
full[col]=full[col].astype(str)
lab = LabelEncoder()
#将所有的字符类型转化成数值类型
full["Alley"] = lab.fit_transform(full.Alley)
full["PoolQC"] = lab.fit_transform(full.PoolQC)
full["MiscFeature"] = lab.fit_transform(full.MiscFeature)
full["Fence"] = lab.fit_transform(full.Fence)
full["FireplaceQu"] = lab.fit_transform(full.FireplaceQu)
full["GarageQual"] = lab.fit_transform(full.GarageQual)
full["GarageCond"] = lab.fit_transform(full.GarageCond)
full["GarageFinish"] = lab.fit_transform(full.GarageFinish)
full["GarageYrBlt"] = full["GarageYrBlt"].astype(str)
full["GarageYrBlt"] = lab.fit_transform(full.GarageYrBlt)
full["GarageType"] = lab.fit_transform(full.GarageType)
full["BsmtExposure"] = lab.fit_transform(full.BsmtExposure)
full["BsmtCond"] = lab.fit_transform(full.BsmtCond)
full["BsmtQual"] = lab.fit_transform(full.BsmtQual)
full["BsmtFinType2"] = lab.fit_transform(full.BsmtFinType2)
full["BsmtFinType1"] = lab.fit_transform(full.BsmtFinType1)
full["MasVnrType"] = lab.fit_transform(full.MasVnrType)
full["BsmtFinType1"] = lab.fit_transform(full.BsmtFinType1)
full["MSZoning"] = lab.fit_transform(full.MSZoning)
full["BsmtFullBath"] = lab.fit_transform(full.BsmtFullBath)
full["BsmtHalfBath"] = lab.fit_transform(full.BsmtHalfBath)
full["Utilities"] = lab.fit_transform(full.Utilities)
full["Functional"] = lab.fit_transform(full.Functional)
full["Electrical"] = lab.fit_transform(full.Electrical)
full["KitchenQual"] = lab.fit_transform(full.KitchenQual)
full["SaleType"] = lab.fit_transform(full.SaleType)
full["Exterior1st"] = lab.fit_transform(full.Exterior1st)
full["Exterior2nd"] = lab.fit_transform(full.Exterior2nd)
#删除该列
full.drop("SalePrice",axis=1,inplace=True)
#独热编码
full2 = pd.get_dummies(full)
full2.shape
full2.head()
5.2 归一化、标准化等
n_train = train.shape[0] #行数
#划分数据集
X = full2[:n_train] #相当于取出X
y = train.SalePrice #取出训练集的标签
std = StandardScaler()
X_scaled = std.fit_transform(X) #归一化数据集
y = np.log(y) #训练集的一个数据分布
test_x = full2[n_train:] #从n_train+1行取到最后
6. 模型构建
#导入模型
from sklearn.linear_model import LinearRegression
#训练模型
model = LinearRegression()
model1 = model.fit(X_scaled,y)
7. 模型测试
predict = model1.predict(test_x)
result = pd.DataFrame({'id':test.Id,'SalePrice':predict})
result.to_csv("submission.csv",index = False)
最终将submission.csv文件提交到kaggle网站就可以啦！
