Python分析建模，日常问题整理（三）
确认过时间，是发工资的一周。
2018.08.06~2018.08.12
- PSI
稳定度指标(population stability index)衡量测试样本及模型开发样本评分的的分布差异，为最常见的模型稳定度评估指针。表示的就是分箱后，针对不同样本，关注各个分数区间内人数占总人数的占比是否有显著变化。
psi = sum((实际占比-预期占比)/ln(实际占比/预期占比))
模型稳定的话，变量在各区间的量应该是相近，占比不会变动很大，预测出来的概率不会差距很大。
一般psi小于0.1时候模型稳定性很高，0.1-0.25一般，大于0.25模型稳定性差。
raw_cut = OrderedDict()
## 生成各变量区间的比例的字典
for i in dat_.columns:
raw_cut.update({i:(dat_[i].value_counts()/len(dat_)).to_dict()})
def psi_(new_cut,raw_cut):
## 输入新模型各变量区间的比例和原始模型各变量区间的比例字典
from math import log
def psi_(dat,raw_cut,variable):
## 输入新模型各变量区间的比例和原始模型各变量区间的比例字典
from math import log
psi_value = OrderedDict()
for i in variable:
new_cut = dict()
new_cut.update({i:(dat[i].value_counts()/len(dat)).to_dict()})
for l in [x for x in raw_cut[i].keys() if x not in new_cut[i].keys()]:
new_cut[i].update({l:0})
pi = 0
raw_tem = raw_cut
for j,v in new_cut[i].items():
if j in raw_tem.keys():
'''如果变量类别在原始变量类别之中'''
if v!=0:
tem = (v-raw_tem[j])*log(v/raw_tem[j])
if v==0:
'''如果变量类别比例等于0'''
tem = (v-raw_tem[j])*log(0.00001)
else :
'''如果变量类别不在原始变量类别之中，令该类的原始比例为无穷小'''
tem = (1-0)/log(1/1e-10)
pi = pi+tem
psi_value.update({i:round(pi,4)})
return psi_value[i]
- 数据类型
df.dtypes
series.astype(float/int/str) 转化数据类型
- 机器学习的三个要素是模型，策略和优算法
- 读取文件夹里面的文件名
import os
import os.path
rootdir = "D://filename"
for parent,dirnames,filenames in os.walk(rootdir):
print(dirnames) #返回该文件夹下的所有文件夹的名称
for filename in filenames:
if filename[-5:]=='.xlsx':
print(parent+"//"+filename)
## 所有Excel的所有父文件夹名以及Excel表名
数据框空值比例：
df.isnull().sum()/df.shape[0]
序列的某个值的比例
(df['A']==1).sum()/df.shape[0]
- 如何保存含有inf的字典
import json
dat = dict({'a':[-np.inf,1,2,3,np.inf]})
j = json.dumps(dat)
f = open('tem.txt','w')
f.write(j)
f.close()
f = open('tem.txt','r')
d = f.read()
f.close()
dat = json.loads(d)
dat
先dumps为json，再json.load即可
- 神经网络模型
from sklearn.neural_network import MLPClassifier
X = [[0., 0.], [1., 1.]]
y = [0, 1]
clf = MLPClassifier(solver='lbfgs', alpha=1e-5,
hidden_layer_sizes=(5,3,2), random_state=1)
clf.fit(X, y)
clf.predict([[2., 2.], [-1., -2.]])
clf.predict_proba([[2., 2.], [-1., -2.]])
[coef.shape for coef in clf.coefs_]
[coef for coef in clf.coefs_]
参数含义
hidden_layer_sizes=(5，3) hidden层2层,第一层5个神经元，第二层3个神经元)
hidden_layer_sizes=(5，3，2) hidden层3层,第一层5个神经元，第二层3个神经元)，第三层2个神经元。
solver： {‘lbfgs’, ‘sgd’, ‘adam’}, MLP的求解方法。默认 ‘adam’，用来优化权重
alpha :float，默认0.0001,正则化项参数。
random_state:int 或RandomState，可选，默认None，随机数生成器的状态或种子。
learning_rate :{‘constant’，‘invscaling’, ‘adaptive’},默认‘constant’。用于权重更新，只有当solver为’sgd‘时使用 。
max_iter: int，可选，默认200，最大迭代次数。
[coef for coef in clf.coefs_]输出每一层的各输入变量系数，以及每一个神经元的结果。
