单层NN中使用adam算法

x = tf.placeholder(tf.float32, [None, 784])

W = tf.Variable(tf.zeros([784, 10]))

b = tf.Variable(tf.zeros([10]))

y = tf.matmul(x, W) + b

y_ = tf.placeholder(tf.float32, [None, 10])

cross_entropy = tf.reduce_mean(         tf.nn.softmax_cross_entropy_with_logits(labels=y_, logits=y)) train_step =         tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy) sess = tf.InteractiveSession() tf.global_variables_initializer().run() # Train for _ in range(1000):

        batch_xs, batch_ys = mnist.train.next_batch(100)

        _,cost = sess.run([train_step,cross_entropy], feed_dict={x:                 batch_xs, y_: batch_ys})

         print(cost)

输出为:

2.30259

1.96883

1.76687

1.39246

1.22997

1.19243

1.08657

1.12234

1.30965

0.833457

0.963737

0.767362

0.763479

0.75128

0.709319

使用adam算法:

tf.train.AdamOptimizer(0.5).minimize(cross_entropy)

输出为:

2.30259

16.8401

17.2679

16.3104

14.2131

16.3672

18.8276

11.4264

15.4074

8.97122

3.11424

5.39649

5.58269

7.20344

7.48695

11.5576

8.18053

4.38636

8.00477

3.82183

10.1561

4.68156

5.63022

3.41254

6.28483

需要在之后思考解答?

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 简单线性回归 import tensorflow as tf import numpy # 创造数据 x_dat...
    CAICAI0阅读 3,659评论 0 49
  • 自编码器和多层感知机 整个神经网络的流程: 定义算法公式,也就是神经网络的forward时的计算定义loss,选定...
    阿面a阅读 2,508评论 0 4
  • 如果,女儿是爸爸前世的情人,那么,儿子就是爸爸今世的敌人; 如果,儿子是妈妈前世的情人,那么,女儿就是妈妈今世的敌...
    朱智林阅读 357评论 2 0
  • 起程回京,每次回京的路,都是自己最不愿意独自走的路!和亲人的离别,是自己最不能承受的痛!再加上和皇上的关系,总让自...
    二的平方阅读 505评论 0 51
  • 张宇轩 “鹅,鹅,鹅,曲项向天歌......”这首诗是出自唐代诗人骆宾王写的<<咏鹅>>。是的,鹅 是一种纯洁无瑕...
    空中飞翔的燕子阅读 343评论 0 1

友情链接更多精彩内容