Mistral 发布 Timestral 时间序列基础模型家族，参数 5M 至 209M

思考

摘要

Timestral 是 Mistral 推出的首个时间序列基础模型系列，仅凭借 2.09 亿参数即可提供最先进的概率性、多变量预测，在关键基准测试中超越更大的模型，同时支持过去和未来的协变量。该系列提供四种规格（500 万至 2.09 亿参数），在准确性与效率之间取得平衡，可在 CPU 上高效运行，并在多样化领域的零样本预测中表现出色。该模型结合了合成预训练、协变量感知注意力机制和长上下文学习，并可通过 Mistral Forge 进行微调以实现领域适应。

今天，我们发布了 Timestral，这是我们首个时间序列基础模型系列。我们最大的模型仅拥有 2.09 亿参数，在该领域三大主要公开基准测试 GIFT-Eval、TIME 和 fev-bench 中均排名第一，仅用三分之二的模型参数就超越了此前的最先进水平。

Timestral 提供概率性、多变量预测，并支持仅过去和已知未来的协变量。我们的模型系列位于预测准确性与模型规模的帕累托前沿，在每个规模上都提供了领先性能。结果已提交至 GIFT-Eval 和 TIME 排行榜。

时间序列是企业中最常见的数据类型之一，从传感器遥测到可观测性指标。基于其构建的预测驱动着容量规划、能源、供应链、风险和维护方面的决策。

工业工厂根据生产计划预测过程传感器，在设备故障前捕捉设备漂移，并在数千个资产中规划产能和备件。金融团队预测资金流、交易量及波动性，以指导数千个账户中的头寸、对冲和资金管理。

ARIMA 和线性回归等经典模型仍然是预测时间序列的成熟工具。这些模型通常针对单个序列进行拟合，并且仅从该序列的历史中学习。

PatchTST 等深度学习模型增加了学习许多相关序列之间非线性模式的能力，但它们通常仍在每个数据集上从头开始训练，因此它们学到的知识无法迁移到新领域。

时间序列基础模型将预训练方法引入时间序列。在大规模且多样化的语料库上训练后，我们的模型学习可跨序列迁移的模式，在从未见过的数据上进行零样本预测，即使在数据稀缺的领域也是如此。

基准测试结果

我们在三个主要的公开预测基准测试上评估了 Timestral：GIFT-Eval、TIME 和 fev-bench。在预训练的零样本模型中，它在所有五项指标上均排名第一。这些结果来自单个检查点，未使用集成方法。

GIFT-Eval，83 个可比的预训练和零样本条目中的前十名。数值越低越好。

TIME，35 个排行榜条目中的前十名。两项指标均为数值越低越好。

fev-bench，37 个排行榜条目中的前十名，按 SQL 技能分数排序。数值越高越好。

针对每种规格优化的模型系列

Timestral 已作为四个模型的系列进行优化：500 万、2800 万、1.23 亿和 2.09 亿参数。较大的模型提升了预测性能，而较小的模型则更快且成本更低。所有四个模型共享相同的架构和训练方案。每个规模都位于准确性与模型规模的帕累托前沿：对于每个模型规模，没有公开模型的预测更好。

GIFT-Eval、TIME 和 fev-bench 上的得分与模型规模对比（以 1 − 技能得分表示）。数值越低越好。我们的 28M 模型在 GIFT-Eval 和 TIME 上击败了规模约为其四倍的 Chronos-2。我们的 209M 模型以更少的参数击败了 TimesFM-3 和 Falcon-2.0。

Timestral 在推理时不需要 GPU。在具有 8 个线程的标准服务器 CPU 上，基于三周的 15 分钟历史数据预测未来一天，使用 5M 模型耗时 10 毫秒，使用 209M 模型耗时 140 毫秒。较小的模型以牺牲部分准确性为代价换取速度：28M 模型比 209M 模型快五倍，而 123M 模型在延迟为 209M 模型四分之三的情况下，得分与 209M 模型的差距在 0.2% 以内。

一个工业案例

考虑一个拥有数千个传感器遍布其设备的工业工厂。Timestral 可以通过多种方式改进该数据的预测。

多变量预测。 泵的振动、温度和压力并非独立变化。其中一个的上升通常可以解释或导致另一个的变化。Timestral 联合建模相关序列，因此可以利用这些依赖关系，而不是孤立地预测每个传感器。

概率预测。 单个预测值可能无法展示全貌。Timestral 预测一整套分位数，因此团队可以看到不确定性有多宽，设置反映这种不确定性的警报阈值，并围绕风险而非单一数值来规划维护。

分类协变量。 一些协变量取自一组类别，而不是连续数值，例如星期几，或机器的状态（运行、空闲、维护中）。将这些编码为数字会强加它们并不具有的顺序或尺度。Timestral 直接将其作为分类输入，以改进预测。

已知未来协变量。 传感器行为的一些驱动因素是提前已知的，例如生产计划、计划停机、天气预报。Timestral 可以基于这些条件来改进预测质量，因此计划中的负载增加是预期的，而不是被标记为意外。

从模型到系统

Timestral 是一个数值模型，可以在现有的监控管道中运行，或者与我们的语言模型配对，用于多模态智能体工作流。

在工厂中，这可能看起来像这样：

1. Timestral 在工厂的传感器流上持续运行，在异常发生时检测它们。

2. 当它在泵上标记异常时，一个智能体嵌入这些信号，并与过去传感器数据的嵌入进行比较，以找到类似的历史故障。

3. 然后，该智能体启动子智能体进行根本原因分析，利用来自该工厂的上下文，例如维护记录、班次日志和操作员笔记、设备手册、过去的工作订单以及来自相关设备的读数。

4. 该智能体根据调查结果起草建议的诊断，并附上支持证据和可能的下一步措施。

工厂经理获得的是由传感器数据支持的诊断和计划，而不仅仅是一个警报。

关键技术贡献

结合了几种想法以产生这些结果。每一项都将在技术报告中详细描述。

1. 解耦地平线预测。 如 Toto 2.0 和 TimesFM-3 中那样，使用连续补丁掩码训练的因果解码器会掩码掉待预测的值，使其看起来像缺失值，并因此也作为后续预测的上下文而丢失。我们的方法 DHF 将这两者分离：完整的历史记录保留在序列中，学习到的预测令牌读取其之前的历史记录。因此，每个观测值既作为目标又作为上下文，真正的缺口仍被标记为缺失，且训练地平线长度和缺失数据增强可以独立调节。

2. 协变量感知注意力。 每个输入序列被分配一个角色：目标变量、仅过去协变量或已知未来协变量。已知未来协变量在整个窗口内可见，而目标保持因果性，信息仅从协变量流向目标。因此，Timestral 可以使用节假日日历或天气预报，而不会将目标自身的未来泄漏到其预测中。

3. 合成优先数据。 大部分训练数据是合成的。我们首先生成具有连贯时间动态的单变量过程，包括趋势、季节性和多样的噪声模式。然后，我们使用多变量合成器通过在这些过程之间引入非线性依赖关系来构建多变量序列。

4. 两阶段训练。 Timestral 首先在纯合成数据上进行大规模预训练，上下文大小为 8192，然后在真实和合成数据的混合上进行后训练，上下文长度增加 4 倍。目标函数是 21 个分位数的 pinball 损失，是 CRPS 的离散近似。

一个可适配的模型

公共基准衡量的是通用性能，但生产数据在行为和结构上可能显著不同。随着市场改变状态、设备老化和需求模式变化，数据也可能随时间推移而漂移。持久的价值在于能够将模型适配到域内数据，并随着分布的移动持续重新训练它。

对于希望更进一步的组织，Timestral 可通过 Mistral Forge 获取，这是我们用于语言模型的同一训练管道。它支持：

• 开箱即用的零样本推理。

• 架构扩展，例如特定领域的协变量。

• 在专有数据上微调，在保持通用性能的同时针对特定领域进行专业化。

• 对训练数据的控制，包括调整训练混合比例、重放预训练数据，以及生成反映目标领域的合成数据样本。对数据的完全控制确保我们在回测中使用的任何数据在预训练期间都未被见过。

完整的管道可以部署在客户的硬件上，包括隔离环境。

下一步

我们已发布了一个 GitHub 仓库，以便您可以在自己的数据上运行 Timestral。包含完整结果的技术报告随后发布。对于更专业的预测问题，或希望开展研究合作，请联系我们。