Informer

概述

Informer 模型是由 Haoyi Zhou, Shanghang Zhang, Jieqi Peng, Shuai Zhang, Jianxin Li, Hui Xiong, 和 Wancai Zhang 于 Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting 提出的。

该方法引入了一种概率注意力机制，用于选择“活跃”查询而不是“懒惰”的查询，并提供了稀疏的 Transformer，从而减轻了传统注意力机制的二次计算和内存需求。

论文中的摘要如下：

许多实际应用需要对长序列时间序列进行预测，例如电力消耗规划。长序列时间序列预测（LSTF）要求模型具备高预测能力，即能够高效地捕捉输出和输入之间的精确长程依赖关系。最近的研究显示了 Transformer 增强预测能力的潜力。然而，Transformer 存在一些严重问题，使其无法直接应用于 LSTF，包括二次时间复杂度、高内存使用率以及编码-解码体系结构固有的局限性。为了解决这些问题，我们设计了一种用于 LSTF 的高效基于 Transformer 的模型，称为 Informer，具有三个显著特点： (i) ProbSparse 自注意机制，其时间复杂度和内存使用率为 O(L logL)，并在序列的依赖对齐上具有可比性能。 (ii) 自注意蒸馏通过减少级联层输入来突出显著的注意力，并有效处理极长的输入序列。 (iii) 生成式解码器以概念简单的方式在一次前向操作中预测长时间序列，而不是逐步预测，从而极大地提高了长序列预测的推理速度。对四个大规模数据集的广泛实验证明，Informer 显著优于现有方法，并为 LSTF 问题提供了新的解决方案。