变量是TensorFlow中的重要概念，和各种编程语言中的变量概念基本保持一致：变量的值在程序的执行过程中可以修改。

变量的初始化

使用var1 = tf.Variable(128.256, name="var1")来定义一个变量。变量的构建需要一个初始值，这个初始值可以是任意类型和任意维度大小的张量。

如果我们需要在定义一个变量时，借用另外一个变量的初始化的值，可以使用var2 = tf.Variable(2*var1.initialized_value(), name="var2")这种方式来定义。

变量在使用前必须初始化。

当然，常量使用tf.constant(3.0, name="X")这种方式定义，常量在使用过程中值不变，当然也不需要初始化。

当进行神经网络训练时，有些变量是机器学习训练的参数，它们的值在训练过程中在梯度更新的时候发生改变，而有些值是不属于机器学习训练的参数，有我们不希望这些值在梯度更新的时候变化。可以在变量声明时使用trainable=True/False来定义。

以下为变量和常量的一段示意代码：

import tensorflow as tf

x = tf.constant(3.0, name="X")
y = tf.constant(6.0, name="Y")
z = tf.add(x, y, name="addXY")

var1 = tf.Variable(128.256, name="var1", trainable=False)
var2 = tf.Variable(2*var1.initialized_value(), name="var2", trainable=True)

v = tf.Variable([1, 2, 3, 4, 5, 6, 7, 8, 9])
v_reshape = tf.reshape(v, [3, 3])

init = tf.global_variables_initializer()

with tf.Session() as sess:
    sess.run(init)
    result = sess.run(z)
    print("x+y=%.0f" % result)
    print(sess.run(var1))
    print(sess.run(var2))
    print(sess.run(v))
    print(sess.run(v_reshape))

变量的变形

在构建完变量后，变量的类型和维度大小就定了。可使用reshape操作来强制改变变量的维度。

v = tf.Variable([1, 2, 3, 4, 5, 6, 7, 8, 9])
v_reshape = tf.reshape(v, [3, 3])

共享变量和变量的命名空间

共享变量涉及 name_scope 和 variable_scope概念，要想理解这两个概念首先必须明确二者的使用目的。我们都知道，和普通模型相比，神经网络的节点非常多，节点节点之间的连接（权值矩阵）也非常多。所以我们费尽心思，准备搭建一个网络，然后有了下图左边的网络，WTF！因为变量太多，我们构造完网络之后，一看，什么鬼，这个变量到底是哪层的？？

使用共享变量和命名空间，可以管理变量的作用范围，就如下图右边一样，在神经网络的各个层之间，井然有序。

为了解决这个问题，我们引入了 name_scope 和 variable_scope，二者又分别承担着不同的责任：

name_scope： 为了更好地管理变量的命名空间而提出的。比如在 tensorboard 中，因为引入了 name_scope，我们的 Graph 看起来才井然有序。

variable_scope： 大部分情况下，跟 tf.get_variable() 配合使用，实现变量共享的功能。

#coding=utf-8
import numpy as np
import tensorflow as tf

# 获取训练数据和测试数据
def get_data(number):
    list_x = []
    list_label = []
    for i in range(number):
        x = np.random.randn(1)
        # 这里构建数据的分布满足 y = 2 * x + 10
        label = 2 * x + np.random.randn(1) * 0.01  + 10
        list_x.append(x)
        list_label.append(label)
    return list_x, list_label

def inference(x):
    weight = tf.get_variable("weight",[1])
    bias = tf.get_variable("bias",[1])
    y = x * weight + bias
    return y

train_x = tf.placeholder(tf.float32)
train_label = tf.placeholder(tf.float32)
test_x = tf.placeholder(tf.float32)
test_label = tf.placeholder(tf.float32)

with tf.variable_scope("inference"):
    train_y = inference(train_x)
    # 此句之后的tf.get_variable获取的变量需要根据变量的名字共享前面已经定义的变量。
    # 如果之前没有相同名字的变量，则会报错
    tf.get_variable_scope().reuse_variables()
    test_y = inference(test_x)

train_loss = tf.square(train_y - train_label)
test_loss = tf.square(test_y - test_label)
opt = tf.train.GradientDescentOptimizer(0.002)
train_op = opt.minimize(train_loss)

init = tf.global_variables_initializer()

train_data_x, train_data_label = get_data(1000) #读取训练数据的函数
test_data_x, test_data_label = get_data(1)

with tf.Session() as sess:
    sess.run(init)
    for i in range(1000):
        sess.run(train_op, feed_dict={train_x: train_data_x[i],
                                      train_label:train_data_label[i]})
        if i % 10 == 0:
            test_loss_value = sess.run(test_loss, 
                            feed_dict={test_x:test_data_x[0],
                                       test_label: test_data_label[0]})
            print("step %d eval loss is %.3f" %(i,test_loss_value))

Kevin，2018年6月9日，北京。

TensorFlow变量

TensorFlow变量

变量的初始化

变量的变形

共享变量和变量的命名空间