经过对神经网络的理解，以分类网络为例，我认为其就是构建了一个高维非线性的函数映射，其基础还是线性映射，通过激活函数等操作将整体映射转化为非线性。而训练过程就是一个拟合的过程。个人在写这个教程是建立在对神经网络有了一定基础认知之后写的，但是目的是Tensorflow的使用，所以不再赘述神经网络的细节。

3.1 Tensorflow训练线性运算

首先从简单的入手，使用Tensorflow构建一个线性映射进行训练，可以理解为一个深度神经网络没有激活函数的神经元。

3.1.1 构建训练数据

首先我们需要构造训练数据，这个需要使用Numpy（教程）的随机数方法，Numpy在神经网络中多有运用，最好掌握一下，构建原始数据代码如下:

import tensorflow as tf
import numpy as np

x_data = np.random.rand(100).astype(np.float32)
y_data = 0.5 * x_data + 0.1 

3.1.2 构建计算图

构建原始数据之后，我们需要设计计算图，也就是设计张量的流向，因为我们设计的是线性运算，需要设置Weights和bias，设计代码如下：

# 设计计算图
Weights = tf.Variable(tf.random_uniform([1],-1,1))
bias = tf.Variable(tf.zeros([1]))
 # 这个y是我们训练出来的y，y_data是groundtruth，我们要根据x_data训练去拟合y_data
y = Weights * x_data + bias

3.1.3 定义loss和选择优化器

在神经网络中我们知道，需要根据需要选择不同的loss，比如交叉熵，二范式距离等，这个以后运用多了有了一定理解会专门写一个章节介绍loss和优化器。对于本例，我先使用简单的二范式距离，将y和y_data做loss，选择优化器为梯度下降法，代码如下：

loss = tf.reduce_mean(tf.square(y - y_data))
optimizer = tf.train.GradientDescentOptimizer(0.5)

对于本例来说，训练我们想达到的迭代的目的就是y和y_data构建的二范式loss在梯度下降法的作用下尽可能小，loss和优化器之前定义过，我们需要告诉tensorflow我们进行网络训练的期望是什么，是最小化loss，如下所示：

train = optimizer.minimize(loss)

3.1.4 迭代训练

首先迭代进行计算之前的问题是参数的初始化，比如Weights和bias，虽然他们定义了tf.Variable()但是并没有进行实际的计算，参考lesson2的解释。我们可以定义会话去挨个调用sess.run(name.initializer)让他们进行初始化的实际操作。但是会很麻烦，所以我们定义如下的全局初始化器，这样之后我们sess.run(init)就可以实现全局的初始化。

init = tf.global_variables_initializer()

定义会话并进行迭代输出，每迭代20次输出一次结果：

sess = tf.Session()
sess.run(init)

for step in range(10000):
    sess.run(train)
    if step % 20 == 0:
        print(step,sess.run(Weights),sess.run(bias))
sess.close()

3.1.5 准确率评测

一般来说这一部分会存在用于评估准确率和模型效果，因为我们只写了简单的线性拟合训练就不在写这一部分，主要我现在不怎么会

3.1.6 完整代码和训练结果

完整代码：

import tensorflow as tf
import numpy as np

x_data = np.random.rand(100).astype(np.float32)
y_data = 0.5 * x_data + 0.1

Weights  = tf.Variable(tf.random_uniform([1],-1,1))
bias = tf.Variable(tf.zeros([1]))
y = Weights * x_data  + bias

loss = tf.reduce_mean(tf.square(y - y_data))
optimizer = tf.train.GradientDescentOptimizer(0.5)

train = optimizer.minimize(loss)
init = tf.global_variables_initializer()

sess = tf.Session()
sess.run(init)

for step in range(1000):
    sess.run(train)
    if step % 20 == 0:
        print(step,sess.run(Weights),sess.run(bias))

sess.close()

训练过程：

3.2 本例中涉及的Tensorflow的函数接口

3.2.1 tf.Varible()

该函数是Tensorflow声明变量所用，返回值为一个张量，括号内传参为该变量的初始化值及大小等

3.2.2 Tensorflow随机数生成函数

3.2.3 Tensorflow常数生成函数

3.2.4 优化器和loss函数

这个之后单独找一节我详细叙述，我现在这一部分也懵懂状态

reference

常见的Tensorflow函数