Graph WaveNet for Deep Spatial-Temporal Graph Modeling

时空图建模是分析系统中各组成部分的空间关系和时间趋势的一项重要任务。现有的方法大多捕捉固定图结构的空间依赖性,假设实体之间的潜在关系是预先确定的。但是,显式的图结构(关系)并不一定反映真实的依赖关系,真正的关系可能会因为数据中的连接不完整而缺失。此外,现有的方法无法捕获时间趋势,因为这些方法中使用的rnn或cnn不能捕获长期时间序列。为了克服这些局限性,我们在本文中提出了一种新的图神经网络结构,图波网络,用于时空图建模。通过开发一种新的自适应依赖矩阵,并通过节点嵌入学习它,我们的模型可以精确地捕捉数据中隐藏的空间依赖。通过叠加扩张的一维卷积分量,其接收域随着层数的增加呈指数级增长,Graph WaveNet能够处理非常长的序列。这两个组件无缝地集成在一个统一的框架中,并且以端到端的方式学习整个框架。在两个公共交通网络数据集metro - la和PEMS-BAY上的实验结果表明,该算法具有良好的性能。

背景:时空图建模背后的一个基本假设是,一个节点的未来信息取决于它的历史信息以及它邻居的历史信息。如何同时捕获空间和时间依赖性成为主要挑战。

传统GCN.CNN,RNN缺点:1)首先,这些研究假设数据的图结构反映了节点之间真正的依赖关系。在某些情况下,连接不包含两个节点之间的相互依赖关系,或者两个节点之间的相互依赖关系存在但缺少一个连接。

2)第二,目前的时空图建模研究在学习时间相关性方面是无效的。

方案:

1.我们提出一个图卷积层,其中一个自适应邻接矩阵可以通过端到端监督训练从数据学习(self-adaptive adjacency matrix)

2. 我们采用堆叠的扩展的随意卷积来捕获时间依赖性。(graph convolution with dilated casual convolution)

 Methodology

目标:本文将特征矩阵与图信号互换使用。给定一个图G和它的历史S阶图信号,我们的问题是学习一个能够预测它的下一个T阶图信号的函数f


3.2 Graph Convolution Layer

根据结构信息提取节点的特征。

Z表示输出

  diffusion convolution layer:具有K个有限步长的图信号的融合过程


如果无向图的融合,考虑一个节点的两个方面,一个入度和出度方向。


Self-adaptive Adjacency Matrix

1.)我们将E1命名为源节点嵌入,将E2命名为目标节点嵌入。通过将E1和E2相乘,我们得到源节点和目标节点之间的空间依赖权值。我们使用ReLU激活函数来消除弱连接。利用SoftMax函数对自适应邻接矩阵进行归一化处理。

2)通过结合预定义的空间相关性和自学习的隐藏图相关性,我们提出了以下图卷积层


3.3 Temporal Convolution Layer

采用扩张的因果卷积[Yu and Koltun, 2016]作为我们的时间卷积层(TCN)来捕捉节点的时间趋势。扩展的因果卷积网络能够以较少的层数捕获较长的序列,从而节省了计算资源。


我们在我们的模型中采用了gated TCN来学习复杂的时间依赖性。



3.4 Framework of Graph WaveNet

它由堆叠的时空层和输出层组成。时空层由图卷积层(GCN)和门控时间卷积层(gated temporal convolution layer)构成,门控时间卷积层由两个并行的时间卷积层(TCN- A和TCN-b)组成。通过叠加多个时空层,GraphWaveNet能够处理不同时间层次上的空间依赖性

4 Experiments


它比包括ARIMA、FCLSTM和WaveNet在内的时间模型性能要好得多。


Effect of the Self-Adaptive Adjacency Matrix

我们发现仅自适应模型比仅前向模型更有效。在图结构不可用时,图网络仍能实现良好的性能。我们发现仅自适应模型比仅前向模型更有效。在图结构不可用时,图波网络仍能实现良好的性能。前向后向自适应模型在所有三个评价指标上得分最低。说明在给定图结构信息的情况下,加入自适应邻接矩阵可以为模型引入新的、有用的信息


Computation Time


5 Conclusion

在本文中,我们提出了一种新的时空图建模模型。我们的模型通过将图卷积与扩展的随机卷积相结合,有效地捕获时空相关性。我们提出了一种有效的方法来自动学习隐藏的空间相关性数据。这为时空图建模开辟了一个新的方向,其中系统的依赖结构是未知的,但需要发现。在两个公共交通网络数据集上,GraphWaveNet实现了最先进的结果。在未来的工作中,我们将研究在大规模数据集上应用Graph WaveNet的可扩展方法,并探索动态空间依赖的学习方法。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,185评论 6 503
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,652评论 3 393
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,524评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,339评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,387评论 6 391
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,287评论 1 301
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,130评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,985评论 0 275
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,420评论 1 313
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,617评论 3 334
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,779评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,477评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,088评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,716评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,857评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,876评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,700评论 2 354

推荐阅读更多精彩内容