前言:主要介绍TensorFlow的基础知识,深度学习的基本知识将在后面进行一一介绍
什么是TensorFlow?
可以拿python最经典的计算包numpy来进行比较,和numpy类似,用于数据计算,常用于开发深度学习框架。为了更好理解它,从以下几个方面介绍:
1.TensorFlow是一个采用数据流图(data flow graphs),用于数值计算的开源软件库。
2.从命名来理解:Tensor(张量)可以当做是一个不确定大小的N维数组,Flow(流)意味着基于数据流图的计算。Tensorflow运行过程就是张量从图的一端流动到另一端的计算过程。
3.TensorFlow的开发过程中,重点在于构建执行流图。也就是:“Data Flow Graphs”,表示TensorFlow是一种基于图的计算框架,其中节点(Nodes)在图中表示数学操作,每个节点都有一个输入和输出;线(Edges)则表 示在节点间相互联系的多维数据数组,即张量(Tensor)
4.TensorFlow具有非常高的灵活性。还有可移植性:支持CPU和GPU的运算,并且可以运行在式计算机,服务器,移动设备等等
什么是数据流图?
官网给出的一个示例,截图如下:
网址:点我
里面提供了四种分类问题,然后可以自己添加特征(Features)和隐藏层,直接在浏览器运行
安装
笔者的显卡不是英伟达,所以只能安装cpu版本,命令很简单:pip install tensorflow==1.4.0
如果你的显卡是英伟达的,可以尝试一下安装gpu
安装gpu过程: https://www.jianshu.com/p/24045df948ca
基本概念
1 图(Graph):图描述了计算的过程,TensorFlow使用图来表示计算任务。
2 张量(Tensor):TensorFlow使用tensor表示数据。每个Tensor是一个类型化 的多维数组。
3 操作(op):图中的节点被称为op(opearation的缩写),一个op获得0个或多个Tensor,执行计算,产生
0个或多个Tensor。
4 会话(Session):图必须在称之为“会话”的上下文中执行。会话将图的op分发到诸如CPU或GPU之类的设备上执行。
5 变量(Variable):运行过程中可以被改变,用于维护状态。
6 feed和fetch:可以为任意的操作(arbitrary operation) 赋值或者从其中获取数据。
7 边:
实线边表示数据依赖,代表数据,即张量。任意维度的数据统称为张量。在机器 学习算法中,张量在数据流图中从前往后流动一遍就完成一次前向传播,而残差 从后向前流动一遍就完成一次反向传播。
虚线边表示控制依赖,可以用于控制操作的运行,这被用来确保happens——before关系,这类边上没有数据流过,但源节点必须在目的节点开始执行前完成。
8 程序结构:
TensorFlow的程序一般分为两个阶段:构建阶段和执行阶段;
构建阶段:op的执行步骤被描述称为一个图,然后使用TensorFlow提供的API 构建这个图。
执行阶段:将构建好的执行图(Operation Graph)在给定的会话中执行,并得到 执行结果。
示例
1 创建一个三个节点的图,a+b=c,也就是,两个constant op和一个matmul op
2创 建一个Session对象,并输出结果
with tf.Session(config=tf.ConfigProto(log_device_placement=True)) as sess2:
print("value:{}".format(sess2.run(fetches=[p,r])))
结果是:
value:[array([[19, 22],
[43, 50]]), array([[ 6, 8],
[10, 12]])]
Session的构造主要有三个参 数,作用如下:
target:给定连接的url,只有当分布式运行的时候需要给定;
graph:给定当前Session对应的图,默认为TensorFlow中的默认图;
config:给定当前Session的相关参数,参数详见: https://github.com/tensorflow/tensorflow/blob/master/tensorflow/core/protobuf/config.proto中的[ConfigProto]
3 创建TensorFlow变量
注意,变量一定要进行全局变量出初始化
w1 = tf.Variable(tf.random_normal(shape=[10], stddev=0.5, seed=28, dtype=tf.float32), name='w1')
k = tf.constant(value=2.0, dtype=tf.float32)
w2 = tf.Variable(w1.initialized_value() * k, name='w2')
inint_op = tf.global_variables_initializer()
print(inint_op)
with tf.Session(config=tf.ConfigProto(log_device_placement=True)) as sess:
sess.run(inint_op)
print("value{}".format(sess.run(w2)))
4.TensorFlow Fetch和 Feed
为了取回操作的输出内容,可以在使用Session对象的run方法调用执行图的时 候,传入一些tensor,通过run方法就可以获取这些tensor对应的结果值。
如果需要获取多个tensor的值,那么尽量一次运行就获取所有的结果值,而不是 采用逐个获取的方式。
feed
Tensorflow还提供了填充机制(feed),可以在构建图时使用placeholder类型的 API临时替代任意操作的张量(占位符),在调用Session对象的run()方法去执行图 时,使用填充数据作为调用的参数,调用结束后,填充数据就消失了。
feed使用一个tensor值临时替换一个操作的输出结果,在获取数据的时候必须 给定对应的feed数据作为参数。feed只有在调用它的方法内有效,方法结束, feed就消失了。
feed可以使用placeholder类型的API创建占位符,常见API:tf.placeholder、 tf.placeholder_with_default
给定占位符placeholder
# 构建一个矩阵的乘法,但是矩阵在运行的时候给定
m1 = tf.placeholder(dtype=tf.float32, shape=[2, 3], name='placeholder_1')
m2 = tf.placeholder(dtype=tf.float32, shape=[3, 2], name='placeholder_2')
m3 = tf.matmul(m1, m2)
with tf.Session(config=tf.ConfigProto(log_device_placement=True, allow_soft_placement=True)) as sess:
print("result:\n{}".format(
sess.run(fetches=m3, feed_dict={m1: [[1, 2, 3], [4, 5, 6]], m2: [[9, 8], [7, 6], [5, 4]]})))
print("result:\n{}".format(m3.eval(feed_dict={m1: [[1, 2, 3], [4, 5, 6]], m2: [[9, 8], [7, 6], [5, 4]]})))
结果:
result:
[[ 38. 32.]
[101. 86.]]
result:
[[ 38. 32.]
[101. 86.]]
变量的更新操作
例如实现累加操作需要用到变量更新api:tf.assign(ref=x, value=x + 1)
下面代码是实现阶乘的例子,用了两种方法,第一种是直接run更新操作,第二种用到控制依赖
#3实现阶乘
# s = tf.Variable(1,dtype=tf.int32)
# i = tf.placeholder(dtype=tf.int32)
# su=s*i
# assign_op=tf.assign(s,su)
# x_inint_op=tf.global_variables_initializer()
# with tf.Session(config=tf.ConfigProto(log_device_placement=True, allow_soft_placement=True)) as sess:
# sess.run(x_inint_op)
# for j in range(1,6):
# sess.run(assign_op,feed_dict={i:j})
# r_x = sess.run(s)
# print(r_x)
#正常的做法 通过control_dependencies可以指定依赖关系,这样的话,就不用管内部的更新操作了,更加方便
#控制依赖
sum = tf.Variable(1,dtype=tf.int32)
i = tf.placeholder(dtype=tf.int32)
tmp_sum=sum*i
assign_op=tf.assign(sum,tmp_sum)
with tf.control_dependencies([assign_op]):
# 如果需要执行这个代码块中的内容,必须先执行control_dependencies中给定的操作/tensor
sum = tf.Print(sum, data=[sum, sum.read_value()], message='sum:')
x_inint_op=tf.global_variables_initializer()
with tf.Session(config=tf.ConfigProto(log_device_placement=True, allow_soft_placement=True)) as sess:
sess.run(x_inint_op)
for j in range(1,6):
# sess.run(assign_op,feed_dict={i:j})
r_x = sess.run(sum,feed_dict={i:j})
print(r_x)
结果:
120