tensorflow是如何求导的?

最近陆续把一些文章搬到微信公众号上,之后的更新也会在公众号上同步进行. 欢迎搜索:DeepCTR

反向传播(Back Propagation)是深度学习最基础最核心的概念之一.TensorFlow用自动微分的方式进行求导,并通过反向传播来更新每个参数的值.那么这一整套流程在tensorflow中是如何实现的呢?本文以一个简单的例子来说明一下.

1. 自动微分

一般来说,计算机程序上有数值微分,符号微分,自动微分等微分方式.其中数值微分简便快捷,但其精度和稳定性不足;符号微分(symbolic derivatives)精度较好,但其计算太耗时.相比之下,自动微分(Automatic Differentiation)克服了上述两个缺点.自动微分有forward和reverse两种模式,而机器学习中的backpropagation算法就是reverse mode的特例.下面主要介绍reverse mode下的自动微分.

第一步: 建立计算图
这里的计算图与TF的计算图类似, 每个节点代表一个变量,节点之间的边代表运算,边的方向代表计算的先后顺序.例如二元函数f(x, y) = xy + exp(xy). 对于该函数可以构建计算图如下:

计算图
第二步: 前向传播(Forward pass)
前向传播中主要做了两个事情: 1. 计算并存储函数在每个节点的值; 2. 计算并储存每个节点对其所有子节点的函数的偏导数. 比如图中的节点x3 = x1x2, 其子节点为x1和x2,我们就在节点3存储 $\frac{\partial{x_3}}{\partial{x_1}}=x_2, \frac{\partial{x_3}}{\partial{x_2}}=x_1$
第三步: 反向传播(Reverse pass)
反向传播从输出节点开始计算各个节点的梯度.本例中首先计算 $\frac{\partial{f}} {\partial{x_5}} = 1$ , 接着计算x4处的导数: $\frac{\partial{f}} {\partial{x_4}} = \frac{\partial{f}} {\partial{x_5}} {\frac{\partial{x_5}} {\partial{x_4}}}$ , 注意这里的两项 $\frac{\partial{f}} {\partial{x_5}}$ 和 $\frac{\partial{x_5}} {\partial{x_4}}$ 的值已经在forward pass中计算并存储好了. Reverse pass中就是将这些导数的值连乘起来.

假设函数的输入为(x, y) = (1, 2), 则forward pass 中所有的步骤可以用表格列出来:

节点	节点公式	节点的值	$\partial1$ 公式	$\partial1$ 的值	$\partial2$ 公式	$\partial2$ 的值
$x_1$	$x$	$1$	$1$	$1$	/	/
$x_2$	$y$	$2$	/	/	$1$	$1$
$x_3$	$x_1 y_1$	$2$	$x_2$	2	$x_1$	1
$x_4$	$exp(x_3)$	$e^2$	$e^{x_3}$	$e^2$	/	/
$x_5$	$x_3 + x_4$	$2+e^2$	$1$	$1$	$1$	$1$

下面在reverse pass中将上表的梯度值按照反向传播的顺序连乘起来,计算各个节点的梯度值:
$\frac {\partial f}{\partial x_5} = 1;$
$\frac {\partial f}{\partial x_4} = \frac {\partial f}{\partial x_5} *\frac {\partial x_5}{\partial x_4} = 1* 1=1;$
$\frac {\partial f}{\partial x_3} = \frac {\partial f}{\partial x_5} *\frac {\partial x_5}{\partial x_3} + \frac {\partial f}{\partial x_5} *\frac {\partial x_5}{\partial x_4} * \frac {\partial x_4}{\partial x_3} = 1* 1+1*1*e^2= 1+e^2;$
$\frac {\partial f}{\partial x_2} = \frac {\partial f}{\partial x_3} *\frac {\partial x_3}{\partial x_2} = (1+e^2)*2=2+2e^2;$
$\frac {\partial f}{\partial x_1} = \frac {\partial f}{\partial x_3} *\frac {\partial x_3}{\partial x_1} = (1+e^2)*1 = 1+e^2$
以上就是reverse mode的自动微分过程.

2. TensorFlow中的Back Propagation

TF中的BP算法遵循了上述reverse mode的计算过程,下面以一个实例说明.
对于大家都熟悉的logistic函数 $y = \sigma(wx+b)$ , 其中 $\sigma$ 为sigmoid函数.现在要使用Gradient Descent求其最优解,并以最小化均方误差为优化目标,因此这里的误差函数为 $L = \frac{1}{N}\sum_{i}^{N}(t-y)^2$ . TF代码如下:

import tensorflow as tf
#1. 准备数据
x =  [[0,1]]
y = [[1]]
X = tf.placeholder(tf.float32, name='X')
Y = tf.placeholder(tf.float32, name='Y')
w = tf.Variable(tf.constant([[0.5],[0.5]], dtype=tf.float32), name="w")
b = tf.Variable(tf.constant(1,  dtype=tf.float32), name="b")

#2. 计算logistic函数
Y_pred = tf.sigmoid(tf.matmul(X, w) + b)

#3. 定义均方误差
loss = tf.reduce_sum(tf.square(Y - Y_pred))

#4. 使用Gradient Descent作为优化方法
optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.5)

#5. 计算loss对w和b的梯度
grads_and_vars = optimizer.compute_gradients(loss)
grads = [g for g, v in grads_and_vars if g is not None]

#6. 梯度反向传播并更新参数
res = optimizer.apply_gradients(grads_and_vars)

#7. 启动计算图
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())    
    res, grads = sess.run([res, grads], feed_dict={X:x, Y:y})            
    w_value,b_value = sess.run([w, b])

打印出相关变量:

print("grads:{}\n".format(grads)) #[array([[0.], [-0.05441625]], dtype=float32), -0.054416254]
print("w_value: {}, b_value:{}".format(w_value, b_value)) #w_value: [[0.5] [0.52720815]], b_value:1.0272080898284912

以上grads变量中存储了Loss对待训练参数w和b的梯度值([0, -0.0544]和-0.0544),在optimizer.apply_gradients()中进行反向传播,并更新w和b的值.每次sess.run()会更新一次.这就是一个最简单的tensorflow 反向传播过程.

P.S. : 步骤4, 5, 6经常合成一步来写:

res = tf.train.GradientDescentOptimizer(learning_rate=0.001).minimize(loss)

这里除了GradientDescent之外,还可以选择其他多种optimizer,如tf.train.AdagradOptimizer, tf.train.AdamOptimizer等.

参考资料
https://harvard-iacs.github.io/2019-CS207/