Autoformer

概述

Autoformer模型是由Haixu Wu、Jiehui Xu、Jianmin Wang和Mingsheng Long在 Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting 年提出的。

以下是论文中的摘要：

延长预测时间对于实际应用非常关键，如极端天气预警和长期能源消耗规划。本文研究了时间序列的长期预测问题。之前基于Transformer的模型采用各种自注意机制来发现长程依赖关系。然而，复杂的长期未来的时间模式使得模型无法找到可靠的依赖关系。此外，为了实现长序列的效率，Transformer不得不采用稀疏版本的点对点自注意力，导致信息利用瓶颈。我们超越Transformer，设计了Autoformer作为一种新颖的分解架构，具有自动相关性机制。我们打破了序列分解的预处理约定，将其改造为深层模型的基本内部块。这种设计赋予Autoformer复杂时间序列的渐进分解能力。此外，受到随机过程理论的启发，我们基于序列周期性设计了基于自动相关性机制，它在子序列级别上进行依赖发现和表示聚合。在效率和准确性方面，自动相关性优于自注意力。在长期预测中，Autoformer在六个基准测试中取得了最先进的准确性，相对改进了38%，涵盖了五个实际应用：能源、交通、经济、天气和疾病。