NVIDIA Kumo Relational 在关系数据上超越监督机器学习且无需训练

TL;DR

NVIDIA Kumo Relational 是一个预训练的关系型基础模型，可直接在企业数据库上进行预测。给定一个预测查询，它会收集多达 10,000 个历史示例作为上下文，并在单次前向传播中预测诸如流失、需求或欺诈等结果。它无需针对特定任务的训练、特征工程或表格扁平化。Kumo Relational 是首个在常见关系型基准测试中超越监督机器学习的少样本基础模型。在 15 个数据库上的 41 项任务中，它击败了监督关系型深度学习模型和专家设计的梯度提升树流水线，并在 SAP SALT 企业基准测试中，其平均倒数排名（MRR）比 AutoGluon 集成模型高出 8%。它可以扩展到拥有 500 亿行以上数据的数据库，并通过 NVIDIA 的开源、GPU 原生结构化数据模型库或作为 NVIDIA NIM，同时适用于人类和智能体。

• 论文： https://arxiv.org/abs/2604.12596
• 文档： https://docs.nvidia.com/sdgm/rfm/overview

向结构化数据基础模型的转变

基础模型已经重写了语言和视觉领域的规则。不久之前，生产级 NLP 意味着每个任务都需要一个专用模型，每个模型都由其自己的分词、词形还原和 n-gram 流水线提供支持。LLM 因三个原因使该技术栈在很大程度上过时了：它们比最好的特定任务模型更准确，部署到生产环境要简单得多，并且足够灵活，能够开启智能体应用的新纪元。

同样的转变现在正在结构化数据领域进行。关系型数据库支撑着世界上最重要的业务决策，但针对它们的预测建模仍然需要数周的特征工程、特定任务训练和调优流水线。结构化数据基础模型因同样的三个原因改变了这一现状：

当下更优的准确率： 作为即插即用的替代品，这些模型已经击败了许多生产流水线，尤其是 XGBoost。在 RelBench V1 分类任务中，Kumo Relational 在专家设计的特征上，平均比梯度提升树高出近 4 个 AUROC 点。在 SAP SALT 上，开箱即用时它在设计特征上比 XGBoost 高出 7 个 MRR 点，微调后高出 13 个 MRR 点。这些结果有力地证明了用 Kumo Relational 替换生产环境中的 XGBoost 流水线的可行性。

简洁性与敏捷性： 一个预训练模型取代了针对各个任务的独立流水线。新的预测变成了一个查询而不是一个项目，因此 ML 团队最终可以承担传统 ML 因过于繁琐而无法在组织各个层级构建的用例。

能够预测的智能体： LLM 让智能体能够阅读、编写和推理。结构化数据基础模型让它们能够预判接下来会发生什么，例如哪个客户会流失，并据此采取行动。Kumo Relational 已经构建为可被智能体调用，其预测查询语言（PQL）为它们提供了一个简单的接口来提出预测性问题。

今天，我们推出了 Kumo Relational（论文，文档），这是一个预训练的基础模型，将这一范式引入关系型数据。连接数据库，描述要预测的内容，并在单次前向传播中获得预测。无需训练。

Kumo Relational 的工作原理

大多数用于结构化数据的基础模型都在单个扁平表格上运行。现实世界的数据存在于关系型数据库中：用户连接到订单，订单连接到产品，且所有数据都在随时间演变。通过手动聚合（例如，“过去 30 天的平均订单价值”）将这些关系扁平化为单行，会丢失细粒度的结构信号，并耗费大量人力。

Kumo Relational 是一个关系型基础模型，它直接在数据库上运行，尊重其表、外键和时间戳。它首先在反映现实世界数据集的合成关系型数据上进行一次性预训练，并通过上下文学习适应每个新任务，在推理时读取多达 10,000 个上下文示例。每个示例将某个时间点实体周围的局部子图与其真实目标配对（例如，“该用户流失”或“该商品售出 142 件”）。

![NVIDIA Kumo Relational 系统概览：(a) 数据库集成，(b) 将自然语言转换为预测查询的提示界面，以及 (c) 为 NVIDIA Kumo Relational 模型提供数据的自动上下文生成，该模型在租户之间横向扩展。]

图 1. Kumo Relational 系统概览。连接数据库，指定预测查询，Kumo Relational 将处理其余部分，从上下文生成到模型推理。

为了进行预测，Kumo Relational 必须做三件事：(1) 理解每个表内的值，(2) 关联跨表的记录，以及 (3) 将具有已知目标的上下文示例与正在预测的实体关联起来。其工作原理如下：

![Kumo Relational 架构：(a) 包含任务、用户、订单和商品表的上下文输入；(b) 表内的列和行注意力，注入上下文目标；(c) 跨表的图注意力和跨样本注意力。]

图 2. Kumo Relational 架构：(a) 上下文输入，(b) 表内推理，(c) 跨表推理。

自动上下文生成： 任务使用 预测查询语言 (PQL) 编写，这是一种声明式接口，你只需说明要预测什么，而不是如何预测。对于时间序列任务，Kumo Relational 会重放历史数据库状态：它采样直到锚点时间戳为止的以实体为中心的子图，并根据该时间戳之后的事件计算每个目标，同时仅向模型提供之前的数据。这防止了数据泄露。

表内推理： 一个轻量级网络独立处理每个表，交替进行列注意力（关联列内的值）和行注意力（关联行内的特征）。模型学习哪些列和行对当前预测很重要，并在噪声传播之前将其过滤掉。

跨表推理： 一个更大的网络通过主键/外键关系上的图注意力，将行嵌入分布在关系结构中，并与跨上下文示例的跨样本注意力交错进行。这是关系推理发生的地方，例如将用户档案与其交易历史联系起来。由于此阶段处理的是行嵌入而不是每个表中的每个单元格，该设计避免了二次方成本，并能扩展到大型上下文和更深的子图。

Kumo Relational 是如何构建的

Kumo Relational 完全基于模拟真实世界关系型数据库及其多样化预测查询的合成关系型数据进行预训练。预训练分阶段进行，从单表逐步过渡到日益复杂的关系结构。

预训练所需的多样化关系型数据库很少公开，因此合成数据填补了这一空白。Kumo Relational 的生成器基于 PluRel（Kothapalli 等人，ICML 2026）的方法，该方法将单表数据生成器扩展至完整的关系型数据库。Kumo 团队的成员参与了 PluRel 的开发并共同撰写了原始论文。PluRel 分三个阶段生成每个数据库：模式（schema）、模拟真实数据中聚类特征的表间外键链接，以及来自具有时间趋势和跨表依赖性的结构因果模型（Structural Causal Models）的列值。生成过程轻量级，因此预训练数据实际上没有限制，且 PluRel 论文表明，随着合成数据库的增加，预训练损失遵循幂律，且这种增益可以迁移到真实数据库上。

通过这种预训练，模型学会了在表之间过滤、关联和聚合信息，而不是依赖固定的聚合方式。当最高精度至关重要时，Kumo Relational 也可以在特定数据集和任务上进行微调。

性能

在本文中，我们在来自 RelBench V1 和 V2、SAP SALT 以及 4DBInfer 的 15 个关系型数据库上的 41 个基准测试中评估了 Kumo Relational，涵盖电子商务、医疗、企业、社交和学术领域。这些数据集在预训练中均未出现。Kumo Relational 在分类和回归任务中均优于最强的监督模型，包括关系深度学习模型和专家设计的表格集成模型。在比较 RelBench V1 上关系模型和系统的 RelArena-α 排行榜上，它开箱即用地处于精度-效率帕累托前沿：

![RelArena-α 排行榜散点图：跨任务的相对准确率（以 Elo 表示，y 轴）与每 1,000 个样本的中位推理时间（x 轴，对数刻度）。Kumo Relational 位于帕累托前沿，约为 17 秒，Elo 1,842。得分最高的条目 rt-plurel 在约 7,300 秒时达到 Elo 1,878，速度慢约 430 倍。其他所有基础模型、特征工程系统和监督模型的得分均低于 Kumo Relational，且运行速度更慢。]

图 3. RelArena-α 排行榜：跨任务 Elo 与每 1,000 个样本的中位推理时间（对数刻度）。在相似准确率下，Kumo Relational 比得分最高的条目快约 430 倍。

论文还报告称，在 SAP SALT 企业基准测试中，Kumo Relational 的平均倒数排名（MRR）比大型 AutoGluon 集成模型高出 8%，比近期的表格基础模型高出约 25%，微调后其相对于 AutoGluon 的领先优势扩大至 16%。它在苛刻条件下也表现稳健：仅使用 0.2% 的训练数据作为上下文时表现良好，当移除多达 75% 的外键链接时保持稳定，且在添加大量噪声列时性能几乎不下降。

局限性

Kumo Relational 在具有有意义关系和时间动态的数据上表现最佳，例如随时间变化的用户行为。在训练集非常大的任务中，任务特定的监督模型可能仍会略胜一筹，而我们的基准测试中上下文预测最多使用了 10,000 个上下文示例。基础模型的微调正是为了这种情况而设计的。预测信号必须在有限数量的跳数内可达，因此请从针对几个相关表的聚焦查询开始，并根据需要扩展图。

演示

Kumo Relational 原生支持在数据库上进行上下文学习：在内存中、通过数据库和仓库连接器，或通过一个通过内存映射 I/O 处理 500B+ 行数据、速度高达 5 GB/s 的自定义图引擎。它包含在 NVIDIA 新发布的 GPU 原生结构化数据模型库中，该开源库也驱动着我们的姊妹模型 Kumo Tabular。该库在首次使用时会从 Hugging Face Hub 下载权重，因此您可以在 GPU 支持的笔记本中加载模型并直接进行预测。下面的代码将上下文示例、预测实体及其相关表传递给模型：

# pip install structured-data-models
import sdm

model = sdm.models.KumoRelational(device="cuda")
pred = model(
    # In-context training table (fkeys/timestamps/targets):
    x_context=...,
    y_context=...,
    # Prediction examples (fkeys/timestamps):
    x_query=...,
    # Multi-table information for context/prediction entities:
    related_context_tables=...,
    related_query_tables=...,
)

查看该库的 关系示例，了解完整的 RelBench 和 SAP SALT 流水线，包括如何采样每个实体的相关表。

若要作为独立服务运行该模型，请将其部署为 NVIDIA NIM，并在笔记本中将开源 structured-data-models-client 指向它。您使用 PQL 编写预测，客户端会收集上下文示例和相关表，然后发送请求：

# pip install 'structured-data-models-client[relational]'
import sdm_client

client = sdm_client.SDMClient(url="http://localhost:8001")  # NIM URL
query = sdm_client.PredictiveQuery(
    # Prediction task in Predictive Query Language (PQL):
    "PREDICT COUNT(orders.*, 0, 30, days) FOR EACH users.user_id",
    # Multi-table data as pandas DataFrames (keys/links inferred):
    {"users": ..., "orders": ...},
)
pred = client.predict(
    # Context examples and related tables for the entities to predict:
    query.materialize(indices=[1, 2, 3]),
    model=sdm_client.KumoRelational(),
)

查看客户端的 示例笔记本，了解针对本地 NIM 和 Databricks 的端到端运行。

开始使用 NVIDIA Kumo Relational 构建

NVIDIA Kumo Relational 现已可用。阅读 研究论文，探索 快速入门笔记本，或开始在您的数据上进行预测。代码根据 Apache 2.0 许可证发布，模型权重根据 OpenMDW 许可协议（版本 1.1）发布。NVIDIA 认为可信 AI 是共同责任，我们已制定政策和实践以支持广泛的 AI 应用开发。当根据我们的服务条款下载或使用时，开发人员应与支持模型团队合作，确保该模型满足相关行业和使用案例的要求，并解决不可预见的产品滥用问题。请在此处报告模型质量、风险、安全漏洞或 NVIDIA AI 相关问题 here。

• 论文： https://arxiv.org/abs/2604.12596
• 文档： https://docs.nvidia.com/sdgm/rfm/overview
• 代码： https://github.com/NVIDIA/structured-data-models
• PyPI： https://pypi.org/project/structured-data-models/
• 客户端代码： https://github.com/NVIDIA/structured-data-models-client
• 客户端 PyPI： https://pypi.org/project/structured-data-models-client/
• 权重： https://huggingface.co/nvidia/Kumo-Relational
• 快速入门笔记本： https://github.com/NVIDIA/structured-data-models-client/blob/main/examples/local/relational.ipynb
• 相关研究： 预测查询语言（PQL）、PluRel、Kumo Tabular

致谢

我们感谢 Kumo 团队全体成员提供的宝贵支持。特别感谢 Josh Przybylko、Adi Wadaskar、Hema Raghavan、Manush Murali、Raja Rao DV、Keti Jovanovska、Zack Drach、Vanja Josifovski、Myungwhan Kim、Blaž Stojanovič、Siyang Xie、Alan Krumholz、Effy Fang、Abdullah Al-chihabi、Disha Dubey、Devan Johnson、Joseph Oliveira、Angela Liu、Miha Pelko、Vedaant Jain、Sally Liu、Aleksandar S. Sokolovski、Alex Porter 和 Ramona Bendias。