这学期选修了Python与算法基础，利用Python语言编写力图实现高效算法。前期接触了线性建模中的单变量及多元变量回归模型、多项式回归和灰度模型等。目前正在解决非线性建模问题，引入了神经网络的概念，这里作为自我梳理。
首先该网络有三层：输入层、隐含层和输出层。输入层进行变量与优化权重的加权计算，每个节点输出z=Σxiwij，此时我们把多个变量(x)，变为了单个变量(z)。隐含层完成“非线性的实现”，节点值ho=1/((1+e^(-z)))，此处使用了生长函数。当我们调节wij(优化权重)，使模型收敛，就能解决该非线性问题。
接着我们建立MLPClassifier神经网络模型。以下辨明多个参数。
hidden_layer_sizes：用元组，一个数字代表一个隐含层的节点。如hidden_layer_sizes=(50,50) 两个隐含层，每层50个节点hidden_layer_sizes=(60,) 一个隐含层，60个节点，其中逗号不能省略
activation:激活函数, 对Σxiwij的函数转换。
{'identity','logistic', 'tanh', 'relu'}, 默认relu
•identity：f(x)= x
•logistic：其实就是sigmod,f(x) = 1 / (1 + exp(-x)).
•tanh：f(x) = tanh(x).
•relu：f(x) = max(0, x)
solver： {'bfgs', 'sgd', 'adam'}, 默认adam，用来优化权重
lbfgs：quasi-Newton（拟牛顿法）方法的优化器
sgd：随机梯度下降
adam： Kingma, Diederik, and Jimmy Ba提出的基于随机梯度的优化器
注意：默认solver 'adam'，在相对较大的数据集上效果比较好（几千个样本或者更多），对小数据集来说，lbfgs收敛更快效果也更好。
随机梯度下降法，参考：机器学习笔记（一）：梯度下降算法，随机梯度下降，正规方程https://blog.csdn.net/qer_computerscience/article/details/55061521
主要是对误差之和最小函数J(θ)求偏导，得到J的梯度，即J下降最快的方向。通过这个方向更新参数θ，θi=θi-α(J'(θ)) （ α是手动设置的学习速率参数 ），使得J的值越来越小。但是每次都遍历所有样本数据（完全梯度下降法），会花费大量时间，所以使用随机梯度下降法：对于每一次更新参数，仅仅使用一个数据，来变换一个参数。这样既保证了精确度，也提高了效率。
learning_rate :学习率,用于权重更新,只有当solver为’sgd’时使用，{'constant'，'invscaling', 'adaptive'},默认constant
•constant: 由learning_rate_init给定的恒定学习率
•invscaling：随着时间t使用power_t的逆标度指数不断降低学习率learning_rate_ ，effective_learning_rate = learning_rate_init / pow(t, power_t)
•adaptive：只要训练损耗在下降，就保持学习率为learning_rate_init不变，当连续两次不能降低训练损耗或验证分数停止升高至少tol时，将当前学习率除以5。
实验： 使用验证集建立MLPClassifier模型，并使用建立的模型预测验证集
''''''''''''''''''''''''''''''''''''''''''''''''''' 画图 '''''''''''''''''''''''''''''''''''''''''''''''''''
import numpy as np X=np.loadtxt(r'D:\课件\Python与算法基础\12周数据\1x1.txt')#data Y=np.loadtxt(r'D:\课件\Python与算法基础\12周数据\1y1.txt')#target import matplotlib.pyplot as plt plt.plot(X[Y==1,0],X[Y==1,1],"b^") plt.plot(X[Y==0,0],X[Y==0,1],"ro") plt.show()
''''''''''''''''''''''''''''''''''''''''''''''''''' 准备数据 '''''''''''''''''''''''''''''''''''''''''''''''''''
from sklearn.model_selection import train_test_split #拆分训练集和测试集 from sklearn.preprocessing import StandardScaler from sklearn.neural_network import MLPClassifier h = .2 X=np.loadtxt(r"D:\课件\Python与算法基础\12周数据\1x1.txt") y=np.loadtxt(r"D:\课件\Python与算法基础\12周数据\1y1.txt") figure = plt.figure() X = StandardScaler().fit_transform(X) #线性拟合，插值法 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.4)#40%作为test
''''''''''''''''''''''''''''''''''''''''''''''''''' 数据初始化 '''''''''''''''''''''''''''''''''''''''''''''''''''
x_min = X[:, 0].min() - .5 x_max = X[:, 0].max() + .5 y_min = X[:, 1].min() - .5 y_max = X[:, 1].max() + .5 xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))
''''''''''''''''''''''''''''''''''''''''''''''''''' 建模及预测 '''''''''''''''''''''''''''''''''''''''''''''''''''
cm = plt.cm.Accent cm_bright = ListedColormap(['#FF0000', '#0000FF']) clf=MLPClassifier(hidden_layer_sizes=(100,), alpha=1e-5, random_state=1)#random_state=1时，每次计算结果一样 clf.fit(X_train, y_train) score = clf.score(X_test, y_test) print(score)
''''''''''''''''''''''''''''''''''''''''''''''''''' 数据可视化 '''''''''''''''''''''''''''''''''''''''''''''''''''
Z = clf.predict_proba(np.c_[xx.ravel(), yy.ravel()])[:, 1] # 用来预测样本分成某一类的概率，ravel平铺，制作概率的等高线图 Z = Z.reshape(xx.shape) ax = plt.subplot(1, 1, 1) ax.contourf(xx, yy, Z, cmap=cm) # 画训练集点 ax.scatter(X_train[:, 0], X_train[:, 1], c=y_train, cmap=cm_bright, edgecolors='black', s=25) # 画测试集点 ax.scatter(X_test[:, 0], X_test[:, 1], c=y_test,cmap=cm_bright, alpha=0.3, edgecolors='black', s=25) ax.set_xlim(xx.min(), xx.max()) ax.set_ylim(yy.min(), yy.max()) ax.set_xticks(()) ax.set_yticks(()) plt.show()
