awesome-tensorflow
感知机(单层神经网络)
输入层
输出层:
初始化权重
- 初始化权重
- 设计模型
- 损失函数
通过推导我们可以得到变化率的公式
- 优化更新权重
基本流程
-
输入
- 数据集 D
- 学习率
- 停止条件: 误差率指定阈值
和最大迭代次数
初始化连接权重
输入样本
更新权重
停止条件，判断是否满足条件如果满足条件，模型误差小于指定误差阈值或是迭代次数大于最大迭代次数
输出，如果满足条件就将模型作为输出
线性回归问题
线性回归通常都是用于预测问题，例如预测苹果的股价，天气预测。今天我们所采用优化算法为梯度下降，这个想必再熟悉不过了，梯度下降几乎是代表深度学习的优化算法的首选。
我们通常有关神经网络打发就是先准备数据集，这也是脏活和累活。
准备数据
points_num = 100
vectors = []
# 用 numpy 的正态随机分布函数生成 100 个点，这些点(x,y)坐标值x 和 y 关系对应线性方程 y = 0.1 * x + 0.5
# 权重为 0.1 偏差为 0.5
for i in range(points_num):
x1 = np.random.normal(0.0, 0.66)
y1 = 0.1 * x1 + 0.5 + np.random.normal(0.0,0.04)
vectors.append([x1, y1])
这里我们需要通过根据采集数据点找到 这条直线。这里通过
np.random.normal(0.0,0.04)给函数值添加一些噪声。
x_data = [v[0] for v in vectors] # x 坐标(输入值)
y_data = [v[1] for v in vectors] # y 坐标(预期值)
# 图像 1：展示 100 随机数据点
plt.plot(x_data,y_data,'b*',label="Original data")
plt.show()
图
我们使用 matplot 将我们生成随机点显示出来，这样我们可以更加直观观察到这些点分布情况。通过观察这些点我们很容易发现他们规律。
初始化变量定义模型
W = tf.Variable(tf.random_uniform([1],-1.0,1.0)) # 初始化权重
b = tf.Variable(tf.zeros([1])) # 初始化 Bias
y = W * x_data + b #模型计算出来 y
这里我们通过tf.Variable 来定义变量，
定义损失函数
loss = tf.reduce_mean(tf.square(y - y_data))
这里我么使用损失函数为
定义优化器
optimizer = tf.train.GradientDescentOptimizer(0.5) #设置学习率为 0.5
train = optimizer.minimize(loss)
初始化变量
# 创建会话
sess = tf.Session()
# 初始化数据数据流图中所有变量
init = tf.global_variables_initializer()
sess.run(init)
global_variables_initializer()帮助我们初始化所有参数。
开始训练
steps = 20
for step in range(steps):
# 优化每一步
sess.run(train)
# 打印出每一步的损失、权重和偏差
print("step=%d loss=%f, [Weight=%f,Bias=%f]" % (step,sess.run(loss),sess.run(W),sess.run(b)))
我们看一下训练结果，当19步 loss 就到了 0.001560 从 weight 和 bias 的预测值可以看出已经很接近我们期望值 0.1 和 （偏移值）0.5
step=17 loss=0.001560, [Weight=0.103602,Bias=0.497746]
step=18 loss=0.001560, [Weight=0.103613,Bias=0.497745]
step=19 loss=0.001560, [Weight=0.103619,Bias=0.497745]
显示结果
plt.plot(x_data,y_data,'b*',label="Original data")
plt.title("Linear Regression using Gradient Descent")
plt.plot(x_data,sess.run(W) * x_data + sess.run(b), label="Fitted line")
plt.legend()
plt.show()
图
完整代码
#coding=utf-8
"""
线性回归
"""
import numpy as np
import matplotlib.pyplot as plt
import tensorflow as tf
# 构造数据
points_num = 100
vectors = []
# 用 numpy 的正态随机分布函数生成 100 个点，这些点(x,y)坐标值x 和 y 关系对应线性方程 y = 0.1 * x + 0.5
# 权重为 0.1 偏差为 0.5
for i in range(points_num):
x1 = np.random.normal(0.0, 0.66)
y1 = 0.1 * x1 + 0.5 + np.random.normal(0.0,0.04)
vectors.append([x1, y1])
x_data = [v[0] for v in vectors] # x 坐标(输入值)
y_data = [v[1] for v in vectors] # y 坐标(预期值)
# 图像 1：展示 100 随机数据点
# plt.plot(x_data,y_data,'b*',label="Original data")
# plt.show()
# 用梯度下降来解决这个问题
# 构建线性回归模型
W = tf.Variable(tf.random_uniform([1],-1.0,1.0)) # 初始化权重
b = tf.Variable(tf.zeros([1])) # 初始化 Bias
y = W * x_data + b #模型计算出来 y
# 定义 loss function(损失函数)
# 对 Tensor 的所有维度计算 $(y - y_data)^2/points_num $
#
loss = tf.reduce_mean(tf.square(y - y_data))
# 用梯度下降优化器来优化 loss 函数
optimizer = tf.train.GradientDescentOptimizer(0.5) #设置学习率为 0.5
train = optimizer.minimize(loss)
# 创建会话
sess = tf.Session()
# 初始化数据数据流图中所有变量
init = tf.global_variables_initializer()
sess.run(init)
# 训练 20 步
steps = 20
for step in range(steps):
# 优化每一步
sess.run(train)
# 打印出每一步的损失、权重和偏差
print("step=%d loss=%f, [Weight=%f,Bias=%f]" % (step,sess.run(loss),sess.run(W),sess.run(b)))
# 图像绘制所有点并且绘制出得到最佳拟合的曲线(直线)
plt.plot(x_data,y_data,'b*',label="Original data")
plt.title("Linear Regression using Gradient Descent")
plt.plot(x_data,sess.run(W) * x_data + sess.run(b), label="Fitted line")
plt.legend()
plt.show()
# 关闭会话
sess.close()
