tensorflow RNN搭建

使用低层api,即自己组建计算图,再进行计算,这样也便于计算自定义的准确率。
导入包

import tensorflow as tf
import pandas as pd
import numpy as np
import os
import pickle
pd.set_option('display.max_rows', 300)
pd.set_option('display.max_columns', 300)

(数据处理部分略过了,不同的问题数据不同)
设定超参数

learning_rate = 0.1
state_size = 128 # hidden layer num of features
n_classes = 19
n_features = 23

输入,我的数据是会动态调整batch_size和time_step,所以这里将前两维都设成None,后面run的时候可以用feed_dict自适应填充,第三维是特征维度,一般是确定的,要是不确定的也可以设成None

x = tf.placeholder(tf.float32, [None, None, n_features], name='input_placeholder')  #batch_size, time_step, feat_len
y = tf.placeholder(tf.float32, [None, None, n_classes], name='labels_placeholder')  #batch_size, time_step, n_classes

batch_size = tf.placeholder(tf.int32, (), name='batch_size')
time_steps = tf.placeholder(tf.int32, (), name='times_step')

定义RNN单元,这里用的是LSTM

rnn_cell = tf.contrib.rnn.BasicLSTMCell(state_size)
init_state = rnn_cell.zero_state(batch_size, dtype=tf.float32)  #状态初始化为0

定义输出层的weights和bias,rnn_cell输出的是它的状态,hidden_size和n_classes是不同的,得到分类结果最简单的就是加上一层输出层 再加 softmax处理。

weights = tf.get_variable("weights", [state_size, n_classes], dtype=tf.float32,
                         initializer = tf.random_normal_initializer(mean=0, stddev=1))
biases = tf.get_variable("biases", [n_classes], dtype=tf.float32, 
                        initializer = tf.random_normal_initializer(mean=0, stddev=1))

执行rnn_cell,得到相应的输出,outputs是[batch_size, max_time, state_size], 包含每次时间步的输出,可以设置一个参数time_major=True就是[max_time, batch_size, state_size],当然这个时候输入x的shape也需要变化了。
这里也可以换成tf.nn.static_run,dynamic_run的好处是可以使用一个sequence_len的变量,表示batch中每个sample序列长度,免去了输入长度固定时,还需要补零,输出去零。这里我的输入都是等长的,所以不需要设置这个变量。

outputs, final_state = tf.nn.dynamic_rnn(cell=rnn_cell, 
                                         inputs=x,
                                        initial_state=init_state,
                                        dtype=tf.float32)
#outputs是[batch_size, max_time, state_size], 包含每次时间步的输出
#final_state是最后一次的状态[batch_size, state_size]

计算n_classes的原始值,需要注意的是tf.matmul只能对二维矩阵进行乘法,所以要先转换shape为二维

#计算rnn输出的状态值,先reshape成2维以便可以和W,b进行运算
#再reshape回来,变成batch_size * time_step * n_classes
state_out = tf.matmul(tf.reshape(outputs, [-1, state_size]), weights) + biases
logits = tf.reshape(state_out, [batch_size, time_steps, n_classes])

Softmax

#进行softmax计算
probs = tf.nn.softmax(logits, -1)   #-1也是默认值,表示在最后一维进行运算
predict = tf.argmax(probs, -1)  #最大的概率在最后一维的哪一列,从0计数,
                                #维度变为  batch_size * time_step

这里先得到真实labal,再计算交叉熵

true_val = tf.argmax(y, -1)   #真实结果,维度为 batch_size * time_step
loss_op = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(
            logits=logits, labels=y))  #计算交叉熵

定义优化器最小化loss,即关键的训练步骤,这里是对rnn_cell中的参数和输出层的参数进行优化,采用梯度下降

optimizer = tf.train.GradientDescentOptimizer(learning_rate=learning_rate)  #优化方法
train_op = optimizer.minimize(loss_op)

然后就是进行训练和预测了,值得一提的是可以通过feed_dict可以对所有Tensor及其子类型进行赋值

def train_network(num_epochs = 30):
    with tf.Session() as sess:
        sess.run(tf.global_variables_initializer())  #初始化variable
        
        acc_record = pd.DataFrame(columns=['n_epoch', 'train_loss'])  #记录Loss变化

        for epoch in range(num_epochs):
            #开始训练
            for idx, (time_step, inputs, labels) in enumerate(get_dump_seq_data()):  #得到开始整理好的数据
                _= sess.run(train_op,    #只计算train_op,在计算train_op之前会先执行其他前置运算
                           feed_dict = {x: inputs,  #这里placeholder进行填充
                                       y:labels,
                                       batch_size:len(inputs),
                                       time_steps: time_step})
                
            #这一轮训练完毕,计算训练集损失值和准确率
            total_loss = 0
            total_input = 0

            for idx, (time_step, inputs, labels) in enumerate(get_dump_seq_data()):
                #这里的run只是计算了损失和预测的值,没有train_op,所以不会改变参数的值
                loss, pred, label= sess.run([loss_op, predict, true_val],
                                                        feed_dict = {x: inputs,
                                                            y:labels,
                                                            batch_size:len(inputs),
                                                            time_steps: time_step})
                #损失
                sample_cnt = len(inputs) * time_step
                total_loss += loss * sample_cnt
                total_input += sample_cnt
            
            acc_record.loc[epoch] = [epoch, total_loss / total_input].copy()
        return acc_record
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,547评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,399评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,428评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,599评论 1 274
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,612评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,577评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,941评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,603评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,852评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,605评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,693评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,375评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,955评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,936评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,172评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,970评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,414评论 2 342

推荐阅读更多精彩内容