Franceschi, Jean-Yves, et al. “UnsupervisedScalable Representation Learning for Multivariate Time Series.” Thirty-ThirdConference on Neural Information Processing Systems, vol. 32, 2019, pp.4650–4661.
一、论文发表信息；
二、相关工作；
对比学习contrastive learning
首先简要介绍一下对比学习的概念。形式化的表达是这样的。首先是有一个锚点数据x。然后有一个相似的样本x+,还有一个不相似的样本x-。
比如图2的时间序列的这个例子。
Yi和yj都是时间序列。这里的蓝色的部分就是锚点，绿色部分就是相似样本、红色部分是在另一条时间序列上的，明显就是作为不相似的样本。
采用对比学习的一个目的就是要学出一个映射，这个映射和其他的一些常规的编码器不太一样。这里要求映射只要能够学习区分这个样本与其他的样本的特征就可以了。
比如以图3这个美元为例。如果是人来分辨一张钞票是美元还是人民币。不需要记住很细节的像素级别的特征，只要记住一些大体的能区分的特征就行了，比如钞票上的人物是不一样的，大概的图案的布局是不一样的，就可以了。
具体的做法就是度量映射之后，锚点和相似样本，不相似样本之间的距离，然后让锚点与相似样本之间的距离，远远大于锚点与不相似的样本。
根据下面的这个loss函数，更新映射函数的参数，最终就能学到这个映射。
dilated causal convolutions
简要介绍一下文中用到的因果卷积。文中就是用这种网络来做那个映射的。
最下面的蓝色的这一条，就可以看作是一条时间序列。然后通过层层的卷积，最终学到这条时间序列的表征输出。
每一层的输出都是由前一层对应未知的输入及其前一个位置的输入共同得到，并且如果输出层和输入层之前有很多的隐藏层，那么一个输出对应的所有输入就越多，并且输入和输出离得越远，就需要考虑越早之前的输入变量参与运算，这样会增加卷积的层数，而卷积层数的增加就带来：梯度消失，训练复杂，拟合效果不好的问题.
因而，对于因果卷积，存在的一个问题是需要很多层或者很大的filter来增加卷积的感受野。
扩展卷积（dilated convolution）是通过跳过部分输入 , 使用扩展卷积，就可以解决因果卷积带来的问题以使模型在层数不大的情况下有非常大的感受野。
三、论文主要内容；
Choices of xref,xpos and xneg.
首先来介绍一下锚点，相似样本，不相似样本是怎么选的。
对于一个包含了N个时间序列的数据集，对于其中的某条序列yi：首先是度量这条时间序列的长度si，然后分别确定锚点和相似样本的范围，从各自的范围中选取锚点和相似样本。
然后是从剩余的N-1条序列中，随机抽取k条序列，作为不相似样本。然后根据对比学习的方法，去学习表征。
Encoder Architecture
图8是文中定义的扩展因果卷积块的结构，卷积块里包括两个因果卷积层。在代码中，输入、输出的通道数、卷积核的大小，扩展的膨胀系数。最终的因果卷积网络用了几层的卷积块，这些的都是可训练的参数。
四、总结；
这篇文章提出了一种用于时间序列的无监督的表征学习方法。从文中的实验来看，能够学出高质量、易于使用的嵌入信息，在一些数据集上甚至能够媲美有监督的方法。
