概念

神经元模型

用数学公式表示为: f(∑ i x i w i + b), f 为激活函数。神经网络是以神经元为基本单元构成的。

激活函数

引入非线性激活因素,提高模型的表达力。

常用的激活函数有 relu、sigmoid、tanh 等。

激活函数 relu: 在 Tensorflow 中,用 tf.nn.relu()表示。

relu()数学表达式

relu()数学图形

激活函数 sigmoid:在 Tensorflow 中,用 tf.nn.sigmoid()表示。

sigmoid ()数学表达式

sigmoid()数学图形

激活函数 tanh:在 Tensorflow 中,用 tf.nn.tanh()表示。

tanh()数学表达式

tanh()数学图形

神经网络的复杂度

可用神经网络的层数和神经网络中待优化参数个数表示。

神经网路的层数

一般不计入输入层,层数 = n 个隐藏层 + 1 个输出层。

神经网路待优化的参数

神经网络中所有参数 w 的个数 + 所有参数 b 的个数。

损失函数(loss)

用来表示预测值(y)与已知答案(y_)的差距。在训练神经网络时,通过不断改变神经网络中所有参数,使损失函数不断减小,从而训练出更高准确率的神经网络模型。

常用的损失函数有均方误差、自定义和交叉熵等。

均方误差 mse

n 个样本的预测值 y 与已知答案 y_之差的平方和,再求平均值。

在 Tensorflow 中用 loss_mse = tf.reduce_mean(tf.square(y_ - y))

自定义损失函数

根据问题的实际情况,定制合理的损失函数。

交叉熵

交叉熵(Cross Entropy):表示两个概率分布之间的距离。交叉熵越大,两个概率分布距离越远,两个概率分布越相异;交叉熵越小,两个概率分布距离越近,两个概率分布越相似。
交叉熵计算公式:H(y_ , y) = −∑y_ ∗ log y
用 Tensorflow 函数表示为ce= -tf.reduce_mean(y_* tf.log(tf.clip_by_value(y, 1e-12, 1.0)))

代码

#coding:utf-8
#0导入模块，生成模拟数据集。
import tensorflow as tf
import numpy as np
BATCH_SIZE = 8
seed = 23455
COST = 1
PROFIT = 9
#基于seed产生随机数
rng = np.random.RandomState(seed)
#随机数返回32行2列的矩阵 表示32组 销量影响因素x1,x2 作为输入数据集
X = rng.rand(32,2)
Y = [[x1+x2+(rng.rand()/10.0-0.05)] for (x1, x2) in X]

#1定义神经网络的输入、参数和输出，定义前向传播过程。
x = tf.placeholder(tf.float32, shape=(None, 2))
y_= tf.placeholder(tf.float32, shape=(None, 1))

w1 = tf.Variable(tf.random_normal([2,1], stddev=1, seed=1))

y = tf.matmul(x, w1)

#2定义损失函数及反向传播方法。
#定义损失函数为MSE，反向传播方法为梯度下降。
#loss_mse = tf.reduce_mean(tf.square(y-y_))
loss_mse = tf.reduce_sum(tf.where(tf.greater(y,y_), COST*(y-y_),PROFIT*(y_-y)))
train_step = tf.train.GradientDescentOptimizer(0.001).minimize(loss_mse)
#train_step = tf.train.MomentumOptimizer(0.001,0.9).minimize(loss)
#train_step = tf.train.AdamOptimizer(0.001).minimize(loss)

#3生成会话，训练STEPS轮
with tf.Session() as sess:
     init_op = tf.global_variables_initializer()
    sess.run(init_op)
    STEPS = 20000
    for i in range(STEPS):
        start = (i*BATCH_SIZE) % 32
        end = start + BATCH_SIZE
        sess.run(train_step, feed_dict={x: X[start:end], y_: Y[start:end]})
        if i % 500 == 0:
            print("After %d training step(s), w1 is: " % (i))
            print(sess.run(w1), "\n")
            total_loss = sess.run(loss_mse, feed_dict={x: X, y_: Y})
            print("loss on all data is %g" % (total_loss))
    print("Final w1 is: \n", sess.run(w1))