TreNet--Hybrid Neural Networks for Learning the Trend in Time Series

TreNet,一个end-to-end混合网络学习local和global相关的特征，来预测时序的趋势trend。

CNN--从局部的时序raw data提取特征；

LSTM--捕捉时序中存在的有历史趋势有关的长时间依赖；

feature fusion layer（特征融合层）--学习共同的特征去预测trend.

Problem Formulation

趋势trend用持续时间duration 和斜率slope 来特征。

原始时间序列表示为X={x_1, x_2, ... , x_T}。T ={<l_k, s_k>}. T=trend，l_k=duration，s_k=slope.

(a) Trend prediction on time series. (b) Associated se- quence of trends.

TreNet

学习预测函数⟨ˆl, sˆ⟩ = f(R(T ),C(L)).

local raw data也会影响趋势，将local raw data 记为L={<x_t(k-w),...,x_tk>}. t_k是趋势k的结束时间。w是经验参数。

目标：学习一个函数f(T,L）预测接下来的趋势⟨ˆl, sˆ⟩。

LSTM：捕捉趋势T中的时间依赖特征R(T).

CNN:捕捉原始序列的局部特征local data C(L).

Learning the dependency in the historical trend sequence

Learning local features from raw data of time series

Feature fusion and output layers

将R(T), C(L) 映射到相同特征空间，再相加得到特征融合层的激活。再接全连接层为输出层。

TreNet的函数表示

φ(·) 是弱relu函数。

Dataset：

1.Power Consumption(PC): 一个家庭电量的序列

2.Gas Sensor. 检测气体的传感器数据

3.Stock Transaction, Yahoo股票1950-10到2016-4。

Baseline：

1.CNN：原始序列L来预测

2.LSTM：趋势序列T

3.ConvNet+LSTM：ConvNet提取序列特征，然后用LSTM预测

4.SVR：联合T和L作输入.

5.Pattern-based hidden markov model(pHMM): 对序列分段,用HMM建模序列段之间的依赖，再根据预测时序的状态来决定评估未来趋势。

6.Naive：上一trend的持续时间和斜率。

实验结果

RMSE of the prediction of trend duration and slope on each dataset.

窗口大小