近几天详细看了几个模型，很多模型在理解算法思想后其实不难抓住思路，但是实际操作起来会遇到很多问题。
本周就先从回归模型进行巩固并熟悉算法和代码。数据来源于之前数据挖掘群群友分享的网站资源。本文选择的案例集为，预测医疗费用。
主要思路：
1.初步探索数据
2.探索特征之间相关关系
3.处理数据并建模
初步探索数据
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline
读取数据
data=pd.read_csv(r'/Users/---/Downloads/医疗费用预测数据集/insurance.csv')
预览数据
data.head()
画散点图，看特征数据关系
sns.pairplot(data,x_vars=['age','bmi','children'],y_vars='charges',size=7,aspect=0.8,kind='reg')
#用 kind 可以显示预测的回归线和置信区间
查看相关矩阵的数据
data.describe()
看到 费用均值>中位数，因此呈现右偏现象；
import pylab as pl
pl.hist(data['charges'])
pl.xlabel('charges')
pl.show()
在我们的数据中，绝大多数的个人每年的医疗费用都在0~15000美元，尽管分布的尾部经过直方图的峰部后延伸得很远。因为线性回归假设因变量的分布为正态分布，所以这种分布是不理想的。在实际应用中，线性回归的假设往往会被违背。如果需要，我们在后面能够修正该假设。 即将面临的另一个问题就是回归模型需要每一个特征都是数值型的，而在我们的数据中，我们有3个非数值类型的特征。 变量sex被划分成male和female两个水平，而变量smoker被划分成yes和no两个水平。从describe()的输出中，我们知道变量region有4个水平，但我们需要仔细看一看，它们是如何分布的。
#非数值型数据的描述
data['region'].describe()
count 1338
unique 4
top southeast
freq 364
Name: region, dtype: object
data.region.value_counts()
southeast 364
northwest 325
southwest 325
northeast 324
Name: region, dtype: int64
可以看到，这里的数据几乎平均分在四个地理区域中
data['sex'].describe()
count 1338
unique 2
top male
freq 676
Name: sex, dtype: object
data['smoker'].describe()
count 1338
unique 2
top no
freq 1064
Name: smoker, dtype: object
探索特征之间的关系——相关系数矩阵
在使用回归模型拟合之前，需要确定自变量和因变量之间or 自变量之间是如何相关的。
用相关系数矩阵来快速确定这种相关关系。
命令：corr（）
corrmat=data.corr() #自动对数值型形成数据间对相关系数矩阵
corrmat
f,ax=plt.subplots(figsize=(20,9))# 控制绘图的尺寸
sns.heatmap(corrmat,vmax=0.9,square=True) # 热力图数据用corrmat，标签最大值为0.9，采用方形
从相关系数矩阵结合热力图可以看出，变量之间两两关系如何。 行列之间交叉点位置，就是相关系数（热力图用颜色表示)，对角线始终为1，因为变量自身于自身永远正相关（白色表示相关性最强）
从图中看，大多以深色为主，相关系数不是强相关。但是有一些显著关联。比如age和bmi，age和charge，bmi & charges，呈现中度相关。
基于数据训练模型
线性回归模型只能处理数值数据，因此需要对所有数据数值化。首先需要将非数值型变量转化为虚拟变量——sex 变为（0，1）等等
命令：dummycoding()
def dummycoding(dataframe):
#首先删掉数值型变量，对类别变量进行虚拟化
dataframe_age = dataframe['age']
dataframe_bmi = dataframe['bmi']
dataframe_children = dataframe['children']
dataframe_charges = dataframe['charges']
dataframe_1 = dataframe.drop(['age'], axis = 1)
dataframe_2 = dataframe_1.drop(['bmi'], axis = 1)
dataframe_3 = dataframe_2.drop(['children'], axis = 1)
dataframe_new=dataframe_3.drop(['charges'],axis=1)
dataframe_new=pd.get_dummies(dataframe_new,prefix=dataframe_new.columns).astype(int)
#对虚拟化完成之后对数据，增加原先的数值型变量
dataframe_new['age']=dataframe_age
dataframe_new['bmi']=dataframe_bmi
dataframe_new['children']=dataframe_children
dataframe_new['charges']=dataframe_charges
return dataframe_new
data_lm=dummycoding(data)
data_lm.head()
上述操作，已经完成了对非数值型数据的虚拟化。然后在回归模型中，可以保留女性/不吸烟/北方 三个变量，作为参照组.
#下面，获取我们需要的因变量，和自变量
from sklearn import linear_model
data_lm_y=data_lm['charges']
data_lm_x1=data_lm.drop(['charges'],axis=1)
data_lm_x2=data_lm.drop(['sex_female'],axis=1)
data_lm_x3=data_lm.drop(['smoker_no'],axis=1)
data_lm_x=data_lm.drop(['region_northeast'],axis=1)
data_lm_x.head()
data_lm_y.head()
处理好自变量以后，接下来进行回归模型拟合
regr=linear_model.LinearRegression()
regr.fit(data_lm_x,data_lm_y)
# 打印截距，保留两位小数
print('Intercept:%.2f'% regr.intercept_)
print('Coefficients:')
# 打印回归系数
print(regr.coef_)
print('Residual sum of squares: %.2f'
% np.mean((regr.predict(data_lm_x) - data_lm_y) ** 2))
print('Variance score: %.2f' % regr.score(data_lm_x, data_lm_y))
Intercept:-0.00
Coefficients:
[ 4.88218006e-13 -4.88241513e-13 -8.48711097e-12 8.48711085e-12
2.91478729e-13 -1.54068681e-12 -6.52275013e-13 1.28863116e-13
3.07629603e-13 4.38695302e-13 1.00000000e+00]
Residual sum of squares: 0.00
Variance score: 1.00
