加载数据 查看前5行
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
df=pd.read_csv('3_film.csv')
df.head()
image.png
绘制直方图
df.hist(xlabelsize=12,ylabelsize=12,figsize=(12,7))
plt.show()
#绘制密度图
df.plot(kind='density',subplots=True,layout=(2,2),sharex=False,fontsize=8,figsize=(17,7))
plt.show()
#绘制箱型图
df.plot(kind='box',subplots=True,layout=(2,2),sharex=False,sharey=False,fontsize=8,figsize=(17,7))
plt.show()
image.png
image.png
image.png
names=['filmnum','filmsize','ratio','quality']
correlations=df.corr()
fig=plt.figure()
ax=fig.add_subplot(111)
cax=ax.matshow(correlations,vmin=0.3,vmax=1)
fig.colorbar(cax)
ticks=np.arange(0,4,1)
ax.set_xticks(ticks)
ax.set_yticks(ticks)
ax.set_xticklabels(names)
ax.set_yticklabels(names)
plt.show()
#多变量数据可视化—散点图
from pandas.plotting import scatter_matrix
scatter_matrix(df,figsize=(8,8),c='b')
plt.show()
image.png
image.png
开始分析
#选取特征变量与响应变量
X=df.iloc[:,1:4]
y=df.filmnum
from sklearn.model_selection import train_test_split
X=np.array(X.values)
y=np.array(y.values)
#以25%构建测试，剩余为训练样本
X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.25,random_state=1)
X_test.shape
from sklearn.linear_model import LinearRegression
lr=LinearRegression()
lr.fit(X_train,y_train)
print('求解系数为：',lr.coef_)
print("求解截距项为：",lr.intercept_)
image.png
y_hat=lr.predict(X_test)
plt.figure(figsize=(10,6)) #设置图片尺寸
t = np.arange(len(X_test)) #创建t变量
#绘制y_test曲线
plt.plot(t, y_test, 'r', linewidth=2, label='y_test')
#绘制y_test曲线
plt.plot(t, y_hat, 'g', linewidth=2, label='y_hat')
plt.legend() #设置图例
plt.show()
image.png
from sklearn import metrics
from sklearn.metrics import r2_score
print("r2:",lr.score(X_test,y_test))
print("r2score:",r2_score(y_test,y_hat))
print("MAE:",metrics.mean_absolute_error(y_test,y_hat))
print("MSE:",metrics.mean_squared_error(y_test,y_hat))
print("MAE:",np.sqrt(metrics.mean_squared_error(y_test,y_hat)))
image.png
这是普通回归。
接下来是梯度下降
为了求解加入新的一列
#使用梯度下降求解
df1=df
df1.insert(1,'Ones',1)
df1.head()
#构建成本函数
def computeCost(X,y,theta):
inner=np.power(((X*theta.T)-y),2)
return np.sum(inner)/(2*len(X))
#梯度下降算法函数,X/y是输入变量，theta是参数，alpha是学习率，iters梯度下降迭代次数
def gradientDescent(X, y, theta, alpha, iters):
temp = np.matrix(np.zeros(theta.shape)) #构建零值矩阵
parameters = int(theta.ravel().shape[1]) #计算需要求解的参数个数
cost = np.zeros(iters) #构建iters个0的数组
for i in range(iters):
error = (X * theta.T)-y #计算hθ(x)-y
for j in range(parameters): #对于theta中的每一个元素依次计算
term = np.multiply(error, X[:,j]) #计算两矩阵相乘(hθ(x)-y)x
temp[0,j] = theta[0,j] - ((alpha / len(X)) * np.sum(term)) #更新法则
theta = temp
cost[i] = computeCost(X, y, theta) #基于求出来的theta求解成本函数
return theta, cost
alpha=0.000001
iters=100
theta=np.matrix(np.array([0,0,0,0]))
g,cost=gradientDescent(X,y,theta,alpha,iters)
y_hat =X_test * g.T
plt.figure(figsize=(10,6)) #设置图片尺寸
t = np.arange(len(X_test)) #创建t变量
#绘制y_test曲线
plt.plot(t, y_test, 'r', linewidth=2, label='y_test')
#绘制y_test曲线
plt.plot(t, y_hat, 'g', linewidth=2, label='y_hat')
plt.legend() #设置图例
plt.show()
print("r2score:",r2_score(y_test,y_hat))
print("MAE:",metrics.mean_absolute_error(y_test,y_hat))
print("MSE:",metrics.mean_squared_error(y_test,y_hat))
print("RMSE:",np.sqrt(metrics.mean_squared_error(y_test,y_hat)))
image.png
接下来是岭回归 省略重复相似代码
from sklearn import linear_model #导入linear_model库
ridge= linear_model.Ridge(alpha=0.1) # 设置lambda值
ridge.fit(X_train,y_train) #使用训练数据进行参数求解
plt.figure(figsize=(10,6)) #设置图片尺寸
t = np.arange(len(X_test)) #创建t变量
#绘制y_test曲线
plt.plot(t, y_test, 'r', linewidth=2, label='y_test')
#绘制y_test曲线
plt.plot(t, y_hat, 'g', linewidth=2, label='y_hat')
plt.legend() #设置图例
plt.show()
image.png
image.png
image.png
最后是lasso回归
from sklearn import linear_model #导入linear_model库
lasso= linear_model.Lasso(alpha=0.1) # 设置lambda值
lasso.fit(X_train,y_train) #使用训练数据进行参数求解
y_hat_lasso = lasso.predict(X_test)
image.png
image.png
