原书作者：刘光聪
简书主页：https://www.jianshu.com/u/49d1f3b7049e
Github地址：https://github.com/horance-liu/tensorflow-internals
总觉得做机器学习不能一直流于表面，一直调用框架的API，这样会失去个人的竞争力。想要看框架的源代码，却总感觉项目过于庞大而无从下手。感谢作者这本开源的中文书籍填补了这方面的空白。于此记录下阅读过程中的一些心得与疑惑，作为一个长期系列不定时更新。
基础概念
OP：即operation，节点。节点用来构建计算图，可以是数据的起点、终点或中间的运算。
Kernel：
Kernel是OP在某种硬件设备的特定实现，它负责执行OP的运算。
环境配置
因为使用的Windows系统，并且Linux服务器上我的权限不够，所以没有一步一步地按照书上的教程用源码编译，不过也简单构建了一个C++工程用来阅读源码，具体操作如下：
安装tensorflow：傻瓜式操作
pip install tensorflow-gpu
使用Visual Studio构建工程，将头文件的目录导入：
15286196-31471697c94942d4.png
（第二章结束）
单层感知器构建与TensorBoard初体验
按照书中3.2章内容构建单层感知器训练mnist数据集，整合的代码如下：
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
# 引入mnist数据集
mnist = input_data.read_data_sets('MNIST_data', one_hot=True)
# 定义输入和标签
x = tf.placeholder(tf.float32, [None, 28, 28, 1])
t = tf.placeholder(tf.float32, [None, 10])
x = tf.reshape(x, [-1, 784])
# 定义模型参数
w = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))
init_op = tf.global_variables_initializer()
# matmul:矩阵乘法
y = tf.nn.softmax(tf.matmul(x, w) + b)
# 交叉熵
cross_entropy = -tf.reduce_sum(t*tf.log(y))
# argmax:返回指定维度上的最大值
is_correct = tf.equal(tf.argmax(y, 1), tf.argmax(t,1))
accuracy = tf.reduce_mean(tf.cast(is_correct, tf.float32))
# 优化器
optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.003)
train_step = optimizer.minimize(cross_entropy)
with tf.Session() as sess:
# 初始化所有参数
sess.run(init_op)
# 将loss, 准确度在tensorboard中进行输出
tf.summary.scalar('loss', cross_entropy)
tf.summary.scalar('accuracy', accuracy)
merged = tf.summary.merge_all()
train_writer = tf.summary.FileWriter('E:\\DeepLearning\\tensorflow源码剖析\\logs\\mnist1\\train', sess.graph)
test_writer = tf.summary.FileWriter('E:\\DeepLearning\\tensorflow源码剖析\\logs\\mnist1\\test')
for step in range(1000):
batch_xs, batch_ys = mnist.train.next_batch(100)
summary, _ = sess.run([merged, train_step], feed_dict={x:batch_xs, t:batch_ys})
train_writer.add_summary(summary, step)
if step%100 == 0:
summary, acc = sess.run([merged, accuracy], feed_dict={x:mnist.test.images, t:mnist.test.labels})
test_writer.add_summary(summary, step)
其他代码在书中都有提到，这里主要记录TensorBoard相关的代码。
首先记录想要输出的两个标量，loss和准确度，再merge起来
# 将loss, 准确度在tensorboard中进行输出
tf.summary.scalar('loss', cross_entropy)
tf.summary.scalar('accuracy', accuracy)
merged = tf.summary.merge_all()
定义writer，将变量写入文件
train_writer = tf.summary.FileWriter('E:\\DeepLearning\\tensorflow源码剖析\\logs\\mnist1\\train', sess.graph)
test_writer = tf.summary.FileWriter('E:\\DeepLearning\\tensorflow源码剖析\\logs\\mnist1\\test')
在训练的同时，计算相关数据并写入文件。
summary, _ = sess.run([merged, train_step], feed_dict={x:batch_xs, t:batch_ys})
train_writer.add_summary(summary, step)
summary, acc = sess.run([merged, accuracy], feed_dict={x:mnist.test.images, t:mnist.test.labels})
test_writer.add_summary(summary, step)
启动Tensorboard
tensorboard --logdir=E:\DeepLearning\tensorflow源码剖析\logs\mnist1
在浏览器中打开对应的地址
image.png
image.png
在scalars页面中可以看到记录的数据的变化趋势，在graph页面中可以看到网络结构。但由于没有使用子命名空间整理节点，无法从图中理解有意义的网络结构。在下一步多层感知器的构建中我将尝试使用子命名空间整理节点，使图的可视化效果更好一点。
