logistic分类

1.神经网络的基本组成部分

2.每个神经元(cell)都可以看做是进行了一次logistic分类

3.二分类法，能将数据分成0和1两类

logistic分类步骤

1.线性求和

假设有一个n维的输入列向量 x，也有一个n维的参数列向量h，还有一个偏置量b，那么就可以线性求和得到z. 

Z的值域？

2.sigmoid函数激活

将z的值映射到[0,1]之间

3.计算误差

假设期望输入x的判定是y，而实际得到的判定值是a,定义一个损失函数 C(a,y) (很多种) �

在凸优化问题中，C的最小值就是它的极小值

计算极小值，即C对h和b求导为0

4.修正参数

假设期望输入x的判定是y，而实际得到的判定值是a,定义一个损失函数 C(a,y) (很多种) �

复杂情况下（数据量大，非凸优化）

通过迭代的方法得到局部最优解

Example

取损失函数C:

C对h和b分别求偏导：

代入迭代，参数更新：

a

扩展：多分类

例如有3个分类，则输出一个长度为3的列向量，对应项为1

计算误差和参数更新公式也得矩阵化：

简单神经网络及后向传播算法BP�

输入层，隐藏层，输出层，分别记为x,h,y.

从输入层到隐藏层的矩阵记为Whx, 偏置向量bh;

从隐藏层到输出层的矩阵记为Wyh, 偏置向量为by

logistic分类，只能做到根据误差来更新Wyh 和by

后向算法,链式法则