本周学习了逻辑回归的原理思路，利用历史考期成绩对学生本轮考试是否通过进行预测。以下为数据涉及字段：
省份，学生ID，考期，科目，分数，描述，是否通过，小组，班主任，学院名称，家族，子订单id，预估分，分数区间。
以上字段中，描述/考期/子订单id/学生id/分数区间经业务考虑属于无效或重复字段。
数据清洗部分省略，以下进行模型的数据处理。
一. 离散特征的处理
df.loc[df['分数']>=60,'target']=1
df.loc[df['分数']<60,'target']=0
df.head(5)
二. 连续特征标准化
from sklearn.linear_model import stochastic_gradient
from sklearn.cross_validation import StratifiedKFold
cat_columns=['省份','科目','小组','班主任','学员名称','家族']
num_columns=['预估分']
target_column='target'
encode_df=pd.get_dummies(df,columns=cat_columns)
df_x=encode_df.drop(columns=target_column)
df_y=encode_df[target_column]
df_y=df_y.values
num_mean=df_x[num_columns].mean()
num_std=df_x[num_columns].std()
num_normal=(df_x[num_columns]-num_mean)/num_std
df_x = df_x.drop(columns=num_columns) # 删除没有归一化的数值型数据
df_x = pd.concat([df_x,num_normal],axis = 1) # concat归一化数据
df_x = df_x.values
三. 训练/测试：数据集划分
from sklearn.model_selection import StratifiedShuffleSplit
sss = StratifiedShuffleSplit(n_splits=2,train_size=0.7)
for train_index,test_index in sss.split(df_x,df_y):
trainx,testx = df_x[train_index],df_x[test_index]
trainy,testy = df_y[train_index],df_y[test_index]
四. 构建模型
from sklearn.linear_model import SGDClassifier #梯度下降
lr = SGDClassifier(loss="log",max_iter = 100) #最大迭代次数少 100.
lr.fit(trainx,trainy)
五.测试模型效果
from sklearn.metrics import roc_auc_score,precision_recall_curve,classification_report,roc_curve
pred = lr.predict_proba(testx)[:,1] #预测概率
pred_labels = lr.predict(testx) #预测0，1值
# ROC
print(roc_auc_score(testy,pred)) #预测roc曲线下的面积：0.907
# 分类报告
print(classification_report(testy,pred_labels))
precision,recall,_ = precision_recall_curve(testy,pred) #pre，recall，阈值。
plt.plot(recall,precision)
image.png
# roc curve
fpr,tpr,_ = roc_curve(testy,pred) #绘制roc曲线
plt.plot(fpr,tpr)
image.png
