GPU
- 如果机器上有超过一个可用的 GPU, 除第一个外的其它 GPU 默认是不参与计算的. 为了让 TensorFlow 使用这些 GPU, 你必须将 op 明确指派给它们执行.with...Device 语句用来指派特定的 CPU 或 GPU 执行操作
with tf.Session() as sess:
with tf.device("/gpu:1"):
matrix1 = tf.constant([[3., 3.]])
matrix2 = tf.constant([[2.],[2.]])
product = tf.matmul(matrix1, matrix2)
如何学习
reduce_sum()函数和reduce_mean()函数
name_scope和variable scope
- 之所以会出现这两种类型的scope，主要是后者（variable scope）为了实现tensorflow中的变量共享机制：
- 即为了使得在代码的任何部分可以使用某一个已经创建的变量，TF引入了变量共享机制，使得可以轻松的共享变量，而不用传一个变量的引用。具体解释如下：
- tensorflow中创建variable的2种方式：
- tf.Variable()：只要使用该函数，一律创建新的variable，如果出现重名，变量名后面会自动加上后缀1，2…
import tensorflow as tf
with tf.name_scope('cltdevelop):
var_1 = tf.Variable(initial_value=[0], name='var_1')
var_2 = tf.Variable(initial_value=[0], name='var_1')
var_3 = tf.Variable(initial_value=[0], name='var_1')
print(var_1.name)
print(var_2.name)
print(var_3.name)
结果输出如下：
cltdevelop/var_1:0
cltdevelop/var_1_1:0
cltdevelop/var_1_2:0
- tf.get_variable()：如果变量存在，则使用以前创建的变量，如果不存在，则新创建一个变量。
- tensorflow中的两种作用域
- 变量域（variable scope）：通过tf.variable_scope()来实现；可以通过设置reuse 标志以及初始化方式来影响域下的变量。
- 这两种作用域都会给tf.Variable()创建的变量加上词头，而tf.name_scope对tf.get_variable()创建的变量没有词头影响，代码下：
import tensorflow as tf
with tf.name_scope('cltdevelop'):
var_1 = tf.Variable(initial_value=[0], name='var_1')
var_2 = tf.get_variable(name='var_2', shape=[1, ])
with tf.variable_scope('aaa'):
var_3 = tf.Variable(initial_value=[0], name='var_3')
var_4 = tf.get_variable(name='var_4', shape=[1, ])
print(var_1.name)
print(var_2.name)
print(var_3.name)
print(var_4.name)
结果输出如下：
var_2:0
aaa/var_3:0
aaa/var_4:0
var_4 = tf.get_variable(name='var_4', shape=[1, ])
tensorflow中变量共享机制的实现
在tensorflow中变量共享机制是通过tf.get_variable()和tf.variable_scope()两者搭配使用来实现的。如下代码所示：
import tensorflow as tf
with tf.variable_scope('cltdevelop'):
var_1 = tf.get_variable('var_1', shape=[1, ])
with tf.variable_scope('cltdevelop', reuse=True):
var_2 = tf.get_variable('var_1', shape=[1,])
print(var_1.name)
print(var_2.name)
结果输出如下：
cltdevelop/var_1:0
cltdevelop/var_1:0
- 【注：】当 reuse 设置为 True 或者 tf.AUTO_REUSE 时，表示这个scope下的变量是重用的或者共享的，也说明这个变量以前就已经创建好了。但如果这个变量以前没有被创建过，则在tf.variable_scope下调用tf.get_variable创建这个变量会报错。如下：
import tensorflow as tf
with tf.variable_scope('cltdevelop', reuse=True):
var_1 = tf.get_variable('var_1', shape=[1, ])
则上述代码会报错
ValueErrorL Variable cltdevelop/v1 doesnot exist, or was not created with tf.get_variable()
