在网络上查阅很多拟合曲线的示例后发现，绝大部分都在用平方差（tf.square）作为曲线拟合的loss，从这点深入搜索后发现，平方差（tf.square）几乎就是曲线拟合最合理的loss，不管是从适应面上、还是从数学原理上。并且tensorflow还整合的平方差（tf.square）和平均值（tf.reduce_sum）的整合函数（tf.losses.mean_squared_error）。于是我把loss修改为如下：
loss = tf.losses.mean_squared_error(labels=y_, predictions=y)
但是这样就又回到了最开始的样子，loss总是无意义的躁动。
在观察了生成的y值之后发现，竟然只有前几次生成的y值是非0的，在进行了几次梯度下降后，y值竟然稳定在0上，这么说来梯度也消失了。
梯度消失。
查阅资料发现，欠拟合和梯度消失有如下几个可能：
1.权重初始化有问题，只使用了简单的random而没有让其科学的生成随机值，会造成梯度下降过程中梯度消失
2.神经网络层数太深，过深的神经网络会造成前几层神经网络上的神经元学习的东西过少，进而导致权重变化慢，造成了梯度不下降的现象
于是，我先尝试减少几层神经层。
其实我在训练过程中，曾经为了解决loss不下降的问题时想当然的增加过几层神经层，当最大增加到第6层时会出现偶发性的训练出错的现象。增加到第10层时妥妥的每次都报错。查阅后发现过深的深网络又没有搭配良好的权重正则化策略会导致数学错误，不过此知识点暂时没有再深入追究。
正因为此，在训练时我都使用3层神经网络。此时因为发现了层数过深会导致梯度消失，我遍索性只使用1个隐藏层。不抱希望的我发现，竟然y值不再稳定在0处了。
目前代码
import numpy as np
import pandas as pd
import tensorflow as tf
#转为onehot编码
def turn_onehot(df):
for key in df.columns:
oneHot = pd.get_dummies(df[key])
for oneHotKey in oneHot.columns: #防止重名
oneHot = oneHot.rename(columns={oneHotKey : key+'_'+str(oneHotKey)})
df = df.drop(key, axis=1)
df = df.join(oneHot)
return df
#获取一批次的数据
def get_batch(x_date, y_date, batch):
global pointer
x_date_batch = x_date[pointer:pointer+batch]
y_date_batch = y_date[pointer:pointer+batch]
pointer = pointer + batch
return x_date_batch, y_date_batch
#生成layer
def add_layer(input_num, output_num, x, layer, active=None):
with tf.name_scope('layer'+layer+'/W'+layer):
W = tf.Variable(tf.random_normal([input_num, output_num]), name='W'+layer)
tf.summary.histogram('layer'+layer+'/W'+layer, W)
with tf.name_scope('layer'+layer+'/b'+layer):
b = tf.Variable(tf.zeros([1, output_num])+0.1, name='b'+layer)
tf.summary.histogram('layer'+layer+'/b'+layer, b)
with tf.name_scope('layer'+layer+'/l'+layer):
l = active(tf.matmul(x, W)+b) #使用sigmoid激活函数，备用函数还有relu
tf.summary.histogram('layer'+layer+'/l'+layer, l)
return l
hiddenDim = 500 #隐藏层神经元数
save_file = './train_model.ckpt'
istrain = True
istensorborad = False
pointer = 0
if istrain:
samples = 2000
batch = 1 #每批次的数据输入数量
else:
samples = 550
batch = 1 #每批次的数据输入数量
with tf.name_scope('inputdate-x-y'):
#导入
df = pd.DataFrame(pd.read_csv('GHMX.CSV',header=0))
#产生 y_data 值 (1, n)
y_date = df['number'].values
y_date = y_date.reshape((-1,1))
#产生 x_data 值 (n, 4+12+31+24)
df = df.drop('number', axis=1)
df = turn_onehot(df)
x_data = df.values
###生成神经网络模型
#占位符
with tf.name_scope('inputs'):
x = tf.placeholder("float", shape=[None, 71], name='x_input')
y_ = tf.placeholder("float", shape=[None, 1], name='y_input')
#生成神经网络
l1 = add_layer(71, hiddenDim, x, '1', tf.nn.relu)
#l2 = add_layer(hiddenDim, hiddenDim, l1, '2', tf.nn.relu)
#l3 = add_layer(hiddenDim, hiddenDim, l2, '3', tf.nn.relu)
#l4 = add_layer(hiddenDim, hiddenDim, l3, '4', tf.nn.relu)
#l5 = add_layer(hiddenDim, hiddenDim, l4, '5', tf.nn.relu)
#l6 = add_layer(hiddenDim, hiddenDim, l5, '6', tf.nn.relu)
#l7 = add_layer(hiddenDim, hiddenDim, l6, '7', tf.nn.relu)
#l8 = add_layer(hiddenDim, hiddenDim, l7, '8', tf.nn.relu)
#l9 = add_layer(hiddenDim, hiddenDim, l8, '9', tf.nn.relu)
y = add_layer(hiddenDim, 1, l1, '10', tf.nn.relu)
#计算loss
with tf.name_scope('loss'):
#loss = tf.reduce_mean(tf.reduce_sum(tf.square(y - y_), name='square'), name='loss') #损失函数，损失不下降，换用别的函数
#loss = -tf.reduce_sum(y_*tf.log(y)) #损失仍然不下降
#loss = -tf.reduce_sum(y_*tf.log(tf.clip_by_value(y,1e-10,1.0)) , name='loss')
loss = tf.losses.mean_squared_error(labels=y_, predictions=y)
tf.summary.scalar('loss', loss)
#梯度下降
with tf.name_scope('train_step'):
train_step = tf.train.GradientDescentOptimizer(0.00005).minimize(loss)
#初始化
init = tf.global_variables_initializer()
sess = tf.Session()
if istensorborad:
merged = tf.summary.merge_all()
writer = tf.summary.FileWriter('logs/', sess.graph)
sess.run(init)
#保存/读取模型
saver = tf.train.Saver()
if not istrain:
saver.restore(sess, save_file)
for i in range(samples):
x_date_batch, y_date_batch = get_batch(x_data, y_date, batch)
feed_dict = {x: x_date_batch, y_: y_date_batch}
if istrain:
_, loss_value, y_value, y__value = sess.run((train_step, loss, y, y_), feed_dict=feed_dict)
#print('y=', y_value, '----ture=', y__value)
print(loss_value)
else:
_, test_assess_value = sess.run((loss, test_assess), feed_dict=feed_dict)
print(test_assess_value)
if istensorborad:
result = sess.run(merged, feed_dict=feed_dict)
writer.add_summary(result,i)
#保存模型
if istrain:
saver.save(sess, save_file)
