针对问题：时间序列预测。LSTM的浅层架构无法有效地表示时间序列数据的复杂特征，尤其是高度非线性和长间隔时间序列数据集。
提出模型：deep-LSTM（DLSTM）可以适应学习时间序列数据的非线性和复杂性。DLSTM是原始LSTM的扩展，包括多个LSTM层，因此每个层包含多个单元。
DLSTM的工作方式：每个LSTM层在不同的时间尺度上运行，从而处理所需任务的特定部分，然后将其传递到下一层，直到最后一层产生输出。
上标（1）表示block 1.
这种堆叠式结构的好处：1. 每一层都可以处理所需任务的一部分，然后将其传递到下一层，直到最后一个累积的层提供输出为止。2. 每个level的隐藏状态都可以在不同的时间范围内运行（适合长期依赖数据/多元时间序列数据集）。
实验 实验代码
数据预处理
1.降噪。2.将原始数据转换为平稳数据（删除数据中的趋势属性；稍后将趋势加回预测中，以便将预测问题返回到原始比例并计算可比较的错误评分。去趋势的标准方法是差分数据，即从当前观测值(t)中减去前一时间步长(t-1)的观测值）。3. 监督学习（单步预测，使用lag time method 将数据划分x,y，lag从lag1-lag6）。4. 将缩放的值转换为原量纲。
实施方案
实验包括两个不同的场景（i）静态场景（ii）动态场景。
静态场景，将预测模型与所有训练数据拟合，然后使用测试数据一次预测每个新的时间步长。动态场景，在每个时间步更新预测模型，并从测试数据中插入新的观察值。
动态--用因变量的先前预测值来计算下一个预测值，静态--使用每个后续预测的实际值预测。
遗传算法GA进行模型超参数的最佳选择（Python（DEAP）库中的分布式进化算法实现GA）。
静态场景存在三个超参数：epoch，隐藏神经元数和lag size。动态四个超参数：如上三个+update次数(当从新观测中获得新观测值时，每个时间步长更新预测模型的次数)。
baselines
1. ARIMA, 2. Vanilla RNN，3. DGRU （Deep Gated Recurrent Unit)，4. ENA（Nonlinear Extension for linear Arps decline）NEA是一种混合方法，将统计方法下降曲线分析（Decline Curve Analysis, DCA）与机器学习核方法相结合。 5. Higher-Order Neural Network (HONN)
metrics：RMSE, RMSPE
数据集1：华北油田1区。227个数据值（80%训练--182观测值，20%测试--45个观测值）。
数据集2：印度油田2004年-2009年（大约63个月）收集的实际生产数据。训练集70%，测试集30%。
