时间序列

时间序列在不同领域至关重要，例如，在金融领域，准确的时间序列预测有助于股票市场预测和风险管理，从而能够做出更好的投资决策！

简而言之，时间序列预测更多的是利用过去的数据来预测未来的数据；

时间序列预测具有挑战性，因为真实世界数据的固有复杂性，这些数据通常表现出非线性、非平稳性和多变量特征。此外，时间序列数据具有多个时间尺度，包括短期波动和长期趋势，传统模型很难同时捕捉这些特征。

LLM在时间序列中的应用

OpenAI通过推出GPT3.5和后来的GPT4展示了LLM的强大能力，自那以后，一切都变了。大多数研究人员意识到了扩展的力量，自那以后，LLM和人工智能领域整体的研究成倍增加。

其中一个研究方向是利用LLM的强大能力来应用于时间序列预测等其他人工智能领域。LLM在少样本或零样本迁移学习、多模态知识整合和复杂推理方面的能力使其特别适合时间序列预测。

时间序列数据通常表现出连续和不规则的模式，这与LLM通常设计用于处理的离散标记不同。更不用说时间序列通常包含多个时间尺度，从短期波动到长期趋势不等。

问题简述

准确预测时间序列数据的挑战，这通常涉及复杂的多尺度时间模式。

解决方案简述：LLM-Mixer

LLM-Mixer通过将数据分解为多个时间分辨率来使LLM适应时间序列预测。这种方法使LLM能够更好地理解和建模时间序列数据中的复杂模式，有效地捕捉短期和长期依赖关系。通过多尺度时间序列分解与LLM的结合，LLM-Mixer在各种数据集和预测范围内实现了具有竞争力的性能，并提高了预测准确性。

LLM-Mixer详解：架构

1）数据下采样和嵌入：

我们首先将时间序列数据下采样为多个时间分辨率，以捕捉短期波动和长期趋势。

然后，这些多尺度序列通过三种类型的嵌入进行丰富：标记嵌入、时间嵌入和位置嵌入。

2）标记嵌入、时间嵌入和位置嵌入：

我们通过一维卷积计算标记嵌入，时间嵌入编码诸如日、周和月等信息，而位置嵌入编码序列位置。这些嵌入将多尺度时间序列转换为深度特征表示。

3）过去可分解混合（PDM）模块：

多尺度表示由PDM模块处理，该模块将不同尺度的过去信息进行混合。PDM模块将复杂的时间序列数据分解为独立的季节性和趋势成分，从而可以对每个成分进行有针对性的处理。

4）预训练大语言模型（LLM）处理：

处理后的多尺度数据，连同一个提供任务特定信息的文本提示，被输入到一个冻结的预训练LLM中。这个冻结的LLM利用其语义知识和多尺度信息来生成预测。

5）预测生成：

最后，对LLM的最后一个隐藏层应用一个可训练的解码器（这是一个简单的线性变换），以预测下一组未来的时间步长。这一步最终生成预测结果，完成了LLM-Mixer框架的处理流程。

数据集

• 对于长期预测，数据集包括ETT数据集（ETTh1、ETTh2、ETTm1、ETTm2），以及Weather（天气）、Electricity（电力）和Traffic（交通）数据集。
• 对于短期预测任务，该框架使用PeMS数据集，该数据集由四个公共交通网络数据集（PEMS03、PEMS04、PEMS07、PEMS08）组成，包含以不同频率收集的时间序列数据。

结果

在长期多元预测方面，LLM-Mixer展现出具有竞争力的性能，特别是在ETTh1、ETTh2和Electricity数据集上表现尤为突出。在多个预测范围（96、192、384和720个时间步长）内，它始终保持着较低的均方误差（MSE）和平均绝对误差（MAE）值，优于TIME-LLM、TimeMixer和PatchTST等模型。

在短期多元预测方面，LLM-Mixer再次展现出强大的性能，在PEMS数据集中始终保持着较低的均方误差（MSE）和平均绝对误差（MAE）值。在PEMS03、PEMS04和PEMS07等数据集上，它取得了具有竞争力的准确性，优于包括TIME-LLM、TimeMixer和PatchTST在内的其他模型。在PEMS08数据集上，与iTransformer和DLinear相比，LLM-Mixer取得了更优的结果，这凸显了其在捕捉短期预测任务中关键时间动态方面的有效性。

最后，在单变量长期预测方面，LLM-Mixer在ETT基准测试的所有数据集上均取得了最低的均方误差（MSE）和平均绝对误差（MAE）值，始终优于Linear、NLinear和FEDformer等方法。