TensorFlow 分支，主要介绍实践时遇到的一些概念、问题以及解决办法。关于 TensorFlow 的基本概念就不详细介绍了 (纸上得来终觉浅，绝知此事要躬行，没有捷径，只有在项目中多查多看动手去实践每个 API)，大家如果感兴趣可以看官网教程 [1] 和斯坦福大学的 TensorFlow 课程 [2]，这个课程我也在跟。

简单介绍一下 TensorFlow，它的基本构造是数据流图 (Data flow graph)，图的节点表示各种操作 (三种典型的节点类型是 tf.Variable，tf.placeholder 和 各种数学运算)；图的边表示数据 (Tensor)。数据依次经过每个节点，被节点的操作处理后流向下一个节点，计算损失后再反向更新参数。写 TensorFlow 代码的过程就是构造这个图，TensorFlow 根据最后的获取 (Fetch) 操作来决定执行图的哪部分 (也就是说有些部分不需要执行)，在哪个 CPU 或者 GPU 上执行等 [3]。

今天主要介绍三个问题， tf.placeholder，tf.Variable 与 tf.get_variable 的区别和 tf.name_scope 与 tf.variable_scope 的区别。

1. tf.placeholder 的表面意思是先给输入数据占个座位，等待程序执行时真正的输入数据到来。初始化 tf.placeholder 时必须指定 dtype 参数， 也就是占个什么类型的座位。shape=[None, 10] 表示输入数据的维度是 10，None 的大小是 batch size.

2. 声明 tf.Variable (注意Variable是首字母大写，是一个类) 时，必须设置初始值 initial_value (因为它是变量)。 声明 tf.get_variable 时，必须指定变量名字 name. 

执行 tf.Variable 实际上调用的 tf.Variable.__init__，即每声明一次总是会创建一个新的变量。执行 tf.get_variable 有两个结果：得到一个已经存在的变量和创建一个新的变量。

3. tf.name_scope 返回一个 context manager 对操作 group 在一起 (方便在 TensorBoard 中查看)。

tf,variable_scope 管理传递到 tf.get_variable 的名字，主要服务于变量共享(sharing variables) [4]，即在代码不同部分直接获得变量。

主要结论 [5]：

(1) tf.name_scope 和 tf.variable_scope 对 tf.Variable 和其他操作的作用是一致的 (即在变量或操作名字前加上 scope 的名字)

(2) tf.name_scope 不会影响 tf.get_variable

(3) tf.variable_scope 会影响 tf.get_variable

(4) 变量共享。reuse=True 表示使用同名变量。

(5) 使用 tf.Variable 声明同名的 variable，会自动添加 '_num' 后缀 

关于TensorFlow的线性回归案例见左下角的阅读原文 (这里不好贴代码)，我将代码注释为 score function (得分函数，也就是预测模型), loss function (损失函数，有损失才有模型提升空间) 和 optimization (优化函数，主要是各种梯度下降方法) 三个主要部分 (这三个部分就是监督学习的组成部分)。

线性回归案例的 tf.placeholder 有指定和不指定 shape 的两个版本 (可能没有任何意义，只是像试试能否行得通)，由于这里输入 x 是一个 scalar (也就是维度为 1)，所以指定 shape=[None, 1]。

参考文献

[1] https://www.tensorflow.org/api_docs/python/

[2]https://web.stanford.edu/class/cs20si/

[3] http://web.stanford.edu/class/cs224n/lecture_notes/cs224n-2017-tensorflow.pdf

[4] https://www.tensorflow.org/programmers_guide/variable_scope

[5] https://stackoverflow.com/questions/35919020/whats-the-difference-of-name-scope-and-a-variable-scope-in-tensorflow