前言:主要介绍一下,TensorFlow变量作用域和可视化,变量作用域能更好底可视化展示数据流图
TensorFlow变量作用域
通过tf.Variable我们可以创建变量,但是当模型复杂的时候,需要构建大量的变量集,这样会导致我们对于变量管理的复杂性,而且没法共享变量(存在多个相 似的变量)。针对这个问题,可以通过TensorFlow提供的变量作用域机制来解决, 在构建一个图的时候,就可以非常容易的使用共享命名过的变量。
变量作用域机制在TensorFlow中主要通过两部分组成:
tf.get_variable:通过所给定的名字创建或者返回一个对应的变量
tf.variable_scope:为通过创建的变量或者操作Operation指定命名空间.
注意: tf.get_variable()和tf.Variable()不是一回事哦,用下面的方法可以区别:
1>>比如,tf.Variable()在定义的时候必须初始化,而tf.get_variable()定义的时候可以先不进行初始化操作。
2>>想要进行变量共享,必须使用tf.get_variable()实现,搭配命名空间,以及reuse关键字的使用,就可以实现变量的共享;而tf.Variable()每次都会生成一个新的变量。
import tensorflow as tf
with tf.variable_scope("foo"):
v = tf.get_variable("v",[1],initializer=tf.constant_initializer(1.0))
print(v.name)
with tf.variable_scope("la"):
with tf.variable_scope("bar"):
v1 = tf.get_variable("v",[1])
print(v1.name);
with tf.variable_scope("b"):
v2=tf.get_variable("c",[1])
print(v2.name)
with tf.variable_scope(""):
v2 = tf.get_variable("foo/c", [1])
print(v2.name)
输出结果:
foo/v:0
la/bar/v:0
la/bar/b/c:0
foo/c:0
例子如下:
1正常情况下构建多个变量
# # 方式一
# def my_func(x):
# w1 = tf.Variable(tf.random_normal([1]))[0]
# b1 = tf.Variable(tf.random_normal([1]))[0]
# r1 = w1 * x + b1
#
# w2 = tf.Variable(tf.random_normal([1]))[0]
# b2 = tf.Variable(tf.random_normal([1]))[0]
# r2 = w2 * r1 + b2
#
# return r1, w1, b1, r2, w2, b2
#
#
# # 下面两行代码还是属于图的构建
# x = tf.constant(3, dtype=tf.float32)
# r = my_func(x)
#
# with tf.Session(config=tf.ConfigProto(log_device_placement=True, allow_soft_placement=True)) as sess:
# # 初始化
# tf.global_variables_initializer().run()
# # 执行结果
# print(sess.run(r))
2变量作用域下定义多个变量
# 方式二
def my_func(x):
# initializer:初始化器
# w = tf.Variable(tf.random_normal([1]), name='w')[0]
# b = tf.Variable(tf.random_normal([1]), name='b')[0]
w = tf.get_variable(name='w', shape=[1], initializer=tf.random_normal_initializer())[0]
b = tf.get_variable(name='b', shape=[1], initializer=tf.random_normal_initializer())[0]
r = w * x + b
return r, w, b
def func(x):
with tf.variable_scope('op1', reuse=tf.AUTO_REUSE):
r1 = my_func(x)
with tf.variable_scope('op2', reuse=tf.AUTO_REUSE):
r2 = my_func(r1[0])
return r1, r2
# 下面两行代码还是属于图的构建
x1 = tf.constant(3, dtype=tf.float32, name='x1')
x2 = tf.constant(4, dtype=tf.float32, name='x2')
with tf.variable_scope('func1'):
r1 = func(x1)
with tf.variable_scope('func2'):
r2 = func(x2)
with tf.Session(config=tf.ConfigProto(log_device_placement=True, allow_soft_placement=True)) as sess:
# 初始化
tf.global_variables_initializer().run()
# 执行结果
print(sess.run([r1, r2]))
TensorFlow可视化
TensorFlow提供了一套可视化工具:TensorBoard,在通过pip安装TensorFlow的情况 下,默认也会安装TensorBoard。通过TensorBoard可以展示TensorFlow的图像、绘制 图像生成的定量指标以及附加数据等信息。可视化的界面如下:
1 生成时间文件
TensorBoard通过读取TensorFlow的事件文件来运行,TensorFlow的事件文件 包括了在TensorFlow运行中涉及到的主要数据,比如:scalar、image、audio、 histogram和graph等。
通过tf.summary相关API,将数据添加summary中,然后在Session中执行这些 操作得到一个序列化Summary protobuf对象,然后使用FileWriter对象将汇总 的序列数据写入到磁盘,然后使用tensorboard命令进行图标展示。
2.在命令行窗口中输入:C:\anaconda\Scripts>tensorboard --logdir C:\result
路径为事件文件存放路径
3.默认访问端 口是:6006
示例
就举一个累计乘法的例子:
代码如下:
sum = tf.Variable(1,dtype=tf.int32)
i = tf.placeholder(dtype=tf.int32)
tmp_sum=sum*i
assign_op=tf.assign(sum,tmp_sum)
with tf.control_dependencies([assign_op]):
# 如果需要执行这个代码块中的内容,必须先执行control_dependencies中给定的操作/tensor
sum = tf.Print(sum, data=[sum, sum.read_value()], message='sum:')
x_inint_op=tf.global_variables_initializer()
tf.summary.scalar("sum",sum)
tf.summary.scalar("i",i)
with tf.Session(config=tf.ConfigProto(log_device_placement=True, allow_soft_placement=True)) as sess:
# merge all summary
merged_summary = tf.summary.merge_all()
# 得到输出到文件的对象
writer = tf.summary.FileWriter('./result', sess.graph)
sess.run(x_inint_op)
for j in range(1,6):
# sess.run(assign_op,feed_dict={i:j})
summary,r_x = sess.run([merged_summary,sum],feed_dict={i:j})
writer.add_summary(summary, j)
print(r_x)
可视化运行结果如下: