与学习相关的技巧 参数的更新 SGD 缺点:如果函数的形状非均向(anisotropic),搜索的路径会非常低效.梯度的方向并没有指向最小值的方...

误差反向传播法 计算图 用计算图解题构建计算图在计算图上,从左向右进行计算(正向传播) 局部计算通过传递"局部计算"获得最终结果.局部计算指无论...

神经网络的学习 学习：从训练数据中自动获取最优权重参数的过程 指标：损失函数 目的：以损失函数为基准，找到能使损失函数的值达到最小的权重参数 机...

神经网络 输入层(第0层)->中间层(隐藏层)->输出层(最后一层) 隐藏层的激活函数 将输入信号的总和转换为输出信号.决定如何来激活输入信号的...

感知机 感知机接收多个输入信号，输出一个信号。感知机的信号只有“1/0”两种取值。神经元计算传送过来的信号的总和，当总和超过 阈值时，“神经元被...