时间序列预测长期以来在金融、医疗保健、气象和供应链管理中都扮演着重要角色。其主要目标是基于历史观测来预测未来的数据点，由于时间序列数据的复杂性和多变性，这一过程充满挑战。机器学习的最新进展，尤其是基础模型的出现，已经改变了这个领域，它们创造了能够处理各种时间序列的通用模型，而无需专门的、针对特定案例的训练。这些基础模型标志着与传统方法的重大转变，传统方法需要针对具体数据集量身定制多个模型。然而，时间序列特征的多样性，比如频率、季节性和底层模式的变化，仍然为统一模型训练带来了巨大的挑战。

在时间序列预测中，一个主要问题是有效处理数据的异质性。不同来源的时间序列数据在频率、分布和结构方面差异显著。当前的预测模型通常依赖于人类定义的基于频率的专业化来应对这种多样性。然而，仅凭频率不能可靠地指示时间序列模式，因为具有相似频率的数据可能表现出不同的行为。相反，具有不同频率的数据可能显示出相似的模式。这种方法必须捕捉到真实世界时间序列中固有的复杂性和多样性。另一个挑战在于时间序列数据的非平稳特性，即数据的统计特性随时间变化，这使得基于频率的分组难以进行准确建模。

现有的时间序列预测方法尝试用各种方法来解决数据的可变性。例如，TEMPO和UniTime等模型结合了基于语言的提示，帮助模型辨别不同的数据来源，实现了有限的数据集层面的专业化。而TimesFM等其他模型则保持基于频率的嵌入字典，以帮助区分基于频率的数据类型。然而，许多模型，包括广受认可的Chronos系列，选择使用无专门模块的通用结构，增加了模型的复杂性和巨大的参数需求。这些方法的挑战在于它们无法充分捕捉时间序列数据的多样性质，因为频率本身并不总是与底层数据模式相关，从而导致效率低下和模型准确性受损。

来自Salesforce AI研究、国立新加坡大学和香港科技大学的研究人员引入了一种名为MOIRAI-MoE的创新模型。MOIRAI-MoE在其Transformer架构中整合了稀疏专家混合（MoE），允许在无需人为定义的频率启发式的情况下进行token级的专业化。这种数据驱动的方法最小化了对预定义的基于频率层的依赖，并使用单一输入/输出投影层，使模型能够自动捕捉和表示多样化的模式。通过实现token级的专业化，MOIRAI-MoE提供了一种更灵活和有效的解决方案，能够更好地代表不同时间序列数据的独特特性，而无需为每个频率类别制定不同的模型。

MOIRAI-MoE的架构利用一个门控函数，基于从预训练模型得出的token聚类，将每个token分配给Transformer层中的适当专家。这个聚类方法由到质心的欧氏距离指导，使具有相似模式的token被同一个专家处理，而多样化的token则由专门的专家处理。通过整合32个专家网络，每个网络专注于独特的时间序列特征，MOIRAI-MoE有效地减少了计算开销，同时增强了其在不同数据类型上的泛化能力。通过动态适应数据中的模式变化，这种方法使MOIRAI-MoE在表示非平稳时间序列数据方面表现出色。

在39个数据集上的广泛测试表明，在分布内和零样本预测场景中，MOIRAI-MoE的性能优越。在分布内预测中，MOIRAI-MoE的表现超过其稠密模型对应物多达17%，在准确性上有显著提高，同时激活的参数量比包括TimesFM和Chronos在内的其他领先模型少了多达65倍。在零样本预测中，模型在测试集中未包括在训练数据中的数据集上进行了测试，MOIRAI-MoE的性能超过了传统模型。在这些测试中，MOIRAI-MoE在连续分级概率评分（CRPS）上实现了3-14%的改进，并在平均绝对缩放误差（MASE）上实现了8-16%的改进。这些结果突显了模型在无需任务特定训练下的强大泛化能力。

这项研究提出了一些关键见解，强调了MOIRAI-MoE在时间序列预测方面的进步：

· 数据驱动的专业化：通过稀疏专家混合实现token级专业化，MOIRAI-MoE克服了人为定义的频率专业化的局限性，能够更细致地表示时间序列的多样性。

· 计算效率：模型的稀疏专家激活大大减少了计算需求，激活的参数量最多减少了65倍，同时保持高精确度。

· 性能提升：对各种数据集的测试确认MOIRAI-MoE超过了稠密模型和诸如TimesFM和Chronos等基础模型，在分布内测试中比稠密对应物提高了17%。

· 可扩展性和泛化能力：MOIRAI-MoE展示了强大的零样本性能，使其在无需为每个应用程序进行专门训练的情况下高度适用于实际预测任务，这在金融、医疗保健和气候建模等多样性应用中至关重要。

总之，MOIRAI-MoE通过引入灵活、数据驱动的方法克服了基于频率专业化的局限性，代表了时间序列预测的重大进步。通过其稀疏专家混合架构，MOIRAI-MoE解决了时间序列数据的多样性和非平稳性问题，并实现了显著的计算效率和性能提升。这种新颖的方法强调了token级专业化的潜力，为时间序列基础模型的未来改进铺平了道路，并扩展了零样本预测在各个行业和应用中的实用性。