SMA TE: Semi-Supervised Spatio-Temporal RepresentationLearning on Multivariate Time Series

这是一篇基于Tapnet修改的文章。

创新点：

1、加入了时间序列的空间信息（也就是variable 轴）

2、是用半监督学习

3、对embedding learning可视化

4、与13个监督学习和4个半监督学习作为baseline

（个人觉得，相较于Tapnet，不同的地方主要在于加入了空间信息，和用的是AE框架）

A:MTS需要考虑2个部分，一部分是时间依赖性 和空间相关性。 先前的论文都是只有考虑2个variable之间对应点的相关性。但这篇论文觉得，应该考虑2个variable 一个m窗口之间的相关性。也就是的相关性，其中。这带来了一个空间相关矩阵的时间邻居和空间变量给定的空间状态。

B：半监督学习的定义，为标签样本，是没有标签样本。

SMATE:

SMATE有3个关键部分，一个是时空动态encoder，序列decoder，和半监督的嵌入层的三步正则化。

SMB：

简单说就是把序列通过空间模块，加入空间信息，个人觉得，类似于SE模块，只不过论文中加了一个参数M，来调整一个窗口内的相关性。

三步正则化（three-step regularization）：

1:求出每一类的均值。就是把所有类别1的embedding vector 初始化聚类为,k为类别数。

2、调整有标签数据质心位置，也就是均值，计算每一个实例到质心的距离，然后求出新的权重Wki 

然后更新质心

3、用无标签数据调整质心位置，计算无标签到质心的距离的比重，然后求出新的权重

 

 最后，合并有监督和无监督数据数据，得出最后的质心

 

 

最后，计算loss是交叉熵加上MSE的loss