TensorFlow学习笔记（二）

神经网络优化

  1. 激活函数
  • relu函数： tf.nn.relu()
    relu函数
  • sigmoid函数tf.mm.sigmoid()
    sigmoid
  • tanh函数tf.nn.tanh()
    tanh函数

  1. 神经网络的复杂度：一般用NN层数和NN参数的个数表示：层数 = 隐藏层的层数+1个输出层；总参数=总w+总b
    示例
  2. 优化
  • 损失函数：预测值（y）与已知答案（y_）的差距有三种方式优化：
    ①. mse（均方误差法）
    ②. 自定义
    ③. ce（交叉熵）
  • 均方误差 mse：loss_msg = tf.reduce_mean(tf.square(y_,y))
    mse
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容