STRUCTURED SEQUENCE MODELING WITH GRAPH CONVOLUTIONAL RECURRENT NETWORKS

针对问题：结构化序列 structured sequences（如，时空序列）.

提出模型：GCRN.

图＋CNN——识别空间结构，RNN——查找动态模式。

研究两种Graph Convolutional Recurrent Network (GCRN) 的两种可能的体系结构，并应用于两个问题：预测移动的MNIST数据，以及使用Penn Treebank数据集对自然语言进行建模。

同时利用图形表示空间和动态数据信息可以提高精度和学习速度。

结构化序列：观测值 $x_t$ 的特征不是独立的而是通过成对关系关联的序列。这种关系通常由加权图建模。

通用GCRN架构

用CNN泛化任意图的方法：1. 卷积空间定义的泛化。2. 通过卷积定理在图傅里叶域进行乘法运算。

两种模型

model 1. 堆叠用于特征提取的图CNN和用于序列学习的LSTM：

$\Theta \star_Gx=\Theta(L)x\approx \sum_{k=0}^{K-1}\theta_kT_k(\tilde{L})x$ ；

fc-lstm: $i=σ(W_{xi} ∗x_t +W_{hi} ∗h_{t−1} +w_{ci} ⊙c_{t−1} +b_i),\\f =σ(W_{xf} ∗x_t +W_{hf} ∗h_{t−1} +w_{cf} ⊙c_{t−1} +b_f),\\c_t =f_t ⊙c_{t−1} +i_t ⊙tanh(W_{xc} ∗x_t +W_{hc} ∗h_{t−1} +b_c), \\o=σ(W_{xo} ∗x_t +W_{ho} ∗h_{t−1} +w_{co} ⊙c_t +b_o),\\h_t = o ⊙ tanh(c_t),$

得到： $x^{CNN}_t = CNN_G (x_t )$

$i=σ(W_{xi} ∗x^{CNN}_t +W_{hi} ∗h_{t−1} +w_{ci} ⊙c_{t−1} +b_i),\\f =σ(W_{xf} ∗x^{CNN}_t +W_{hf} ∗h_{t−1} +w_{cf} ⊙c_{t−1} +b_f),\\c_t =f_t ⊙c_{t−1} +i_t ⊙tanh(W_{xc} ∗x^{CNN}_t +W_{hc} ∗h_{t−1} +b_c), \\o=σ(W_{xo} ∗x^{CNN}_t +W_{ho} ∗h_{t−1} +w_{co} ⊙c_t +b_o),\\h_t = o ⊙ tanh(c_t),$

$x_t ∈ R^{n×d_x}$ 是t时刻 $d_x$ 观察的测量值。 $x^{CNN}_t$ 是图CNN门的输出。

该模型结构足以利用局部平稳性、合成属性、动态属性来捕获数据分布。

model2. 泛化convLSTM模型的曲线图，用图卷积* G替代欧几里德2D卷积*：

$i=σ(W_{xi} ∗_Gx_t +W_{hi} ∗_Gh_{t−1} +w_{ci} ⊙c_{t−1} +b_i),\\f =σ(W_{xf} ∗_Gx_t +W_{hf} ∗_Gh_{t−1} +w_{cf} ⊙c_{t−1} +b_f),\\c_t =f_t ⊙c_{t−1} +i_t ⊙tanh(W_{xc} ∗_Gx_t +W_{hc} ∗_Gh_{t−1} +b_c), \\o=σ(W_{xo} ∗x_t +W_{ho} ∗h_{t−1} +w_{co} ⊙c_t +b_o),\\h_t = o ⊙ tanh(c_t),$

$W_{h·} ∈ R^{K ×d_h ×d_h} ; W_{x·} ∈ R^{K ×d_h ×d_x}$ 是不依赖节点n的参数。

实验

移动的mnist数据集，所有序列总共20帧（10帧-输入，10帧-预测）。

各模型运行时间的结果比较。以及不同参数

表1显示了每个模型的计算复杂度与滤波器大小成线性关系。

总结：

本文研究两种架构，1.使用CNN和RNN的堆栈（model.1），2. convLSTM用卷积取代RNN定义中的全连接操作（model.2）。

实验在两个应用程序：视频预测和自然语言建模。model.2在视频预测的情况下表现出良好的性能。model. 1在语言建模性能较好，特别是学习速度。已经显示出：（i）各向同性滤波器在要求更少参数的情况下可以胜过图像上的经典2D滤波器，（ii）图CNN和RNN结合，可以引入和利用边信息的一种通用方法。

图结构可能会给RNN系统带来稳定性，并阻止它们表达不稳定的动态行为。