以时间序列数据为基础，对过去的未来进行准确的预测是至关重要的，因为这为提前进行决策和风险管理打开了大门。在实践中，挑战是构建一个灵活但简洁的模型，可以捕获广泛的时间依赖性。在这篇论文中，我们通过探索时间序列的多分辨率表示来提出Pyraformer。具体地，我们引入了金字塔注意模块(PAM)，其中尺度间树结构总结了不同分辨率的特征，尺度内邻近连接模型模拟了不同范围的时间依赖性。在温和的条件下，Pyraformer中信号遍历路径的最大长度是序列长度L的一个常数(即O(1))，大量的数值结果表明，Pyraformer在单步和长距离多步预测任务中以最少的时间和内存消耗获得了最高的预测精度，特别是在序列较长的情况下。完整的代码将在发布时提供。
背景：低时间和空间复杂性
方案：我们提出了一种新颖的基于金字塔注意的变压器(Pyraformer)，以弥补捕捉远程依赖和实现低时间和空间复杂性之间的差距。具体来说，我们发展了金字塔注意机制，即在金字塔图中传递基于注意的信息。该图中的边可以分为两组:尺度间连接和尺度内连接。
尺度间连接建立了原始序列的多分辨率表示。尺度内边缘通过连接相邻节点来获取每个分辨率的时间相关性。
框架：
我们首先将观测数据、协变量和位置分别嵌入，然后将它们相加，与Informer方法相同。接下来，我们使用粗尺度构造模块(CSCM)构建了一棵多分辨率C-ary树，其中粗尺度上的节点汇总了相应细尺度上C节点的信息。为了进一步捕获不同范围的时间依赖性，我们引入了金字塔注意模块(PAM)，利用金字塔图中的注意机制传递消息。最后，根据下游的任务，我们使用不同的网络结构来输出最终的预测
PYRAMIDAL ATTENTION MODULE (PAM)
我们可以将金字塔图分解为两个部分:尺度间的联系和尺度内的联系。尺度间的连接形成一个C-ary树，其中每个父节点都有C个子节点。金字塔图提供了原始时间序列的多分辨率表示。此外，通过尺度内的连接简单地连接相邻节点，更容易捕获较粗尺度上的远程依赖关系(例如，月依赖关系)
COARSER-SCALE CONSTRUCTION MODULE (CSCM)
CSCM的目标是在金字塔图的粗尺度上初始化节点，以便于后续PAM在这些节点之间交换信息。在时间维度上对嵌入序列依次应用核大小为C和步长为C的几个卷积层，得到尺度为s的长度为L/Cs的序列。
4 EXPERIMENTS
4.2.1 SINGLE-STEP FORECASTING
我们在三个数据集上进行了单步预测实验:electric, Wind和App Flow。历史长度分别为169,192和192
我们的实验结果表明，Pyraformer在NRMSE和ND方面优于Transformer及其变体，且Q-K对的数量最少。
4.2.2 LONG-RANGE MULTI-STEP FORECASTING
我们评估了Pyraformer在三个数据集:Electricity、ETTh1和ETTm1上的长期预报性能。特别是对于ETTh1和etm1，我们同时预测了未来油温和6个电力负荷特征，这是一个多元时间序列预测问题。很明显，对于所有的数据集，Pyraformer都能以最少的Q-K对获得最好的性能，无论预测长度如何
