深度学习之LSTM

LSTM是深度学习领域一个非常受欢迎的模型,它被用以解决各种各样的问题。在交通领域,LSTM被广泛应用于道路、航空、铁路等各个方面的研究,例如基于LSTM建立车辆跟驰模型,利用LSTM进行短期交通流预测,公交车到站时间预测、共享单车需求预测、铁路客运量预测以及航空延误预测等等。本周,交通科研Lab将对LSTM的基础理论进行介绍,并以航空延误预测为例讲解如何建立LSTM模型。

今天先为大家介绍一下LSTM模型的相关理论。

注:以下内容是我对书籍、博客以及论文中的相关介绍的整理。

LSTM网络的全称是“Long Short Term Memory networks”,中文名叫“长短期记忆网络”,是一种改进版的RNN。所以,在介绍LSTM之前,先来了解一下RNN。

1.RNN简介

在实际生活中,我们所面临的很多问题都是具有顺序性的。比如说,你在阅读文章的时候,都是通过联系上文来理解你当前看到的词的真正含义。但是传统的人工神经网络并不会根据先前信息来对之后的信息进行推断。RNN(Recurent Neural Networks,递归神经网络)弥补了这一缺陷,它将神经元的输出再接回神经元的输入,使其具有“记忆力”,从而可以解决具有顺序性的问题。如下图所示,右图是将左图按照时间点展开得到的结果,图中共有3个时间点,依次是“t-1”“t”“t+1”。

图注:

X是神经网络的输入,Xt是t时间点神经网络的输入;

O是神经网络的输出,Qt是t时间点神经网络的输出;

(U,V,W)是神经网络的参数,在展开图中W是t-1时间点的输出,但是作为t时间点的输入。

S是隐藏状态,代表着神经网络的“记忆”。在展开图中St是t时间点神经网络的隐藏状态,它是当前时间点的输入Xt、前一个时间点的隐藏状态St-1 以及参数U和W共同评估的结果。

然而,世界上没有十全十美的事物……RNN也不例外,虽然它有“记忆力”,但是,他的“记忆力”有点差。如果相关信息和当前预测的位置间隔很小,RNN可以学会使用先前信息,如果位置间隔很大,RNN就记不住了……为此深度学习专家Schmidhuber提出了LSTM模型。

2.LSTM

emmmm接下来有请哪吒给大家介绍一下LSTM模型!

感谢小爷~ 小爷讲的正是我想说的~

以上就是本期LSTM相关理论讲解的全部内容,下期将为大家介绍如何建立LSTM模型来预测航空延误。

emmm你们还有什么要补充或者要纠正的吗?欢迎大家来评论区留言~

注:以上所用图片均来源于网络。

什么,你们觉得没看够啊???

那就关注我们的公众号吧!

【交通科研Lab】

致力于

“分享学习点滴,期待科研交流!”

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,772评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,458评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,610评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,640评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,657评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,590评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,962评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,631评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,870评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,611评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,704评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,386评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,969评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,944评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,179评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,742评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,440评论 2 342

推荐阅读更多精彩内容