自己动手制作人工神经网络0x3：训练部分

今天来实现训练的功能，给ANN类添加一个train方法。
函数的参数第一个是输入的节点(inputs_list)，数据类型是list；第二个参数是预期的输出节点的值(outputs_list)，数据类型也是list。

首先，把两个参数传进来的list转换成numpy的array，转换后的大小是(list.size, 1)

然后，向上一篇文章一样，分别计算隐藏层和输出层，得到我们的输出(o_o)。

接着计算误差并反向传播。这里使用梯度下降的方式，误差函数是预期值与实际值的方差。这里直接给出梯度方程，即求误差函数相对于权重的斜率。
-(e_j)sigmoid(\sum_iw_{ij}o_i)(1-sigmoid(\sum_iw_{ij}o_i))o_i
e_j表示下一层节点j的误差量；o_i指上一层节点i的值。

在隐藏层到输出层的权重中e_j为输出层的误差量e_o=t_j-o_j
这里t_j表示输出层节点j的期望值；o_j表示输出层节点j实际值

在输入到隐藏的权重中e_j按权重把隐藏层到输出层的误差量反向传播得到；
即e_j=e_h=w_ho.T*e_o

关于这个公式我会在系列文章最后更一篇详细解释。

    def train(self, inputs_list, outputs_list):

        # translation
        i = np.array(inputs_list, ndmin=2).T
        t = np.array(outputs_list, ndmin=2).T

        # hidden
        h_i = np.dot(self.wih, i)
        h_o = self.a_f(h_i)

        # output
        o_i = np.dot(self.who, h_o)
        o_o = self.a_f(o_i)

        # error
        o_e = t - o_o
        h_e = np.dot(self.who.T, o_e)

        # fix
        #r * ( (E*o*(1-o)) * lo.T)
        self.who += self.lr * np.dot(o_e * o_o * (1 - o_o), np.transpose(h_o))

        self.wih += self.lr * np.dot(h_e * h_o * (1 - h_o), np.transpose(i))

最后说一句，权重的更新方式是减去梯度方程的值，因为梯度值为正意味着权重需要减少才能减少误差函数的值。需要注意的是代码还把梯度值乘上了学习速率，这样可以控制权重更新的幅度。
这样，我们便完成了训练部分的功能。接下来，我还会继续更新如何使用这个ANN类，来完成手写数字识别的任务。