从x通过W参数得到得分值，然后归一化，就得到了一个属于类别的概率值，之后再求出loss值。接下来就需要进行一个最优化的操作。
从x到loss的过程称为前向传播。
神经网络一般是通过BP算法（Error Back Propagation）求解的，即通过前向传播求出loss值，再通过反向传播去优化权重参数W值。
前向传播完成之后，需要经过反向传播去优化W参数。
机器学习与深度学习（九）：梯度下降算法原理
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
推荐阅读更多精彩内容
- 101.深度学习（CNN RNN Attention）解决大规模文本分类问题。 用深度学习（CNN RNN Att...
- 本系列文章面向深度学习研发者，希望通过Image Caption Generation，一个有意思的具体任务，深入...
- 摘要：说到BP(Back Propagation)算法，人们通常强调的是反向传播，其实它是一个双向算法：正向传播输...
- 谷歌开发者机器学习词汇表：纵览机器学习基本词汇与概念 姓名：钟航 转载自：http://mp.weixin.qq....
