跳到正文
原文
Hugging Face Blog·· 2 天前

Hugging Face 与 OpenRouter 合作让开放权重模型更易运行

Hugging Face and OpenRouter join forces to make open-weight models easy to run

SI 导读

Hugging Face 将 Inference Providers 的语言模型请求切换到 OpenRouter,用户可用同一 Hugging Face token 和 API 调用 Hub 上由服务商承载的开放权重模型。

精选SI 评分70
推荐理由

文章把语言模型请求的路由变化、可观测入口和自定义密钥限制放在一起,读者可据此判断现有工作流需要怎样调整。

正文 · SI 翻译

Hugging Face 与 OpenRouter 正在合作,让开源权重模型的运行变得轻而易举。每一个主要的开源权重模型发布都已在 Hugging Face Hub 上公开,而 OpenRouter 则大规模提供这些模型的服务,根据对每个提供商的实时测量,将每个请求路由到 80 多家提供商。通过这种方式,Hub 上任何由提供商服务的开源权重模型,都可以通过同一个 API,使用你的 Hugging Face 令牌进行调用,并为每个请求选择最佳提供商。

今天,我们将 Inference Providers 从我们自有的自定义路由器切换到了 OpenRouter。对语言模型的请求现在通过 OpenRouter 处理,它根据实时的价格、速度和可靠性为每次调用选择最佳提供商,并在第一个提供商失败时在另一个提供商上重试。你的代码保持不变。

使用你已有的工具运行它们

该路由器支持 OpenAI 的 Chat Completions 和 Responses API 以及 Anthropic 的 Messages API,适用于所有聊天模型,无论其背后的提供商是谁。选择你的编码代理或 SDK 以及一个模型,然后复制步骤,或者将整个设置作为提示词复制给你的代理:

Claude Code、Codex、OpenCode、Pi 和 Hermes Agent 的设置指南

同一个 Hugging Face 令牌还为你提供 Storage Buckets 的存储、Jobs 的计算以及 Inference Endpoints 的专用推理。PRO、Team 和 Enterprise 计划包含用于计算和推理的每月额度。

开源权重模型的使用情况

在 OpenRouter 上,开源权重模型占服务令牌的比例从 2025 年 10 月的 26.8% 增长到 2026 年 9 月底的 71.7%,此前在 7 月曾达到 77.5% 的峰值(OpenRouter,2026 年 10 月)。在同一时期,开源权重的每周使用量增长了 60 多倍,而闭源模型仅增长了近 10 倍。本周,OpenRouter 上使用最多的模型是一个开源权重模型 DeepSeek V4.1 Flash 1017,处理了 59.2 万亿个令牌(排名)。

Open-weight models' share of tokens on OpenRouter, from 26.8% in October 2025 to 71.7% in September 2026 Open-weight models' share of tokens on OpenRouter, from 26.8% in October 2025 to 71.7% in September 2026

开源权重模型的平均成本约为闭源模型的四分之一:每百万输入令牌 0.28 美元,每百万输出令牌 1.62 美元,而闭源模型分别为 1.27 美元和 6.36 美元。

在最具挑战性的基准测试中,最好的开源权重模型仍然落后于最好的专有模型。在 Artificial Analysis Intelligence Index 上,最好的开源权重模型 Kimi K3.1 Pro 得分为 46,而 Claude Fable 5.2 得分为 65,前者的每任务成本约为后者的七分之一(3.68 美元对 26.54 美元)。对于许多工作负载而言,这种权衡是值得的。

Artificial Analysis Intelligence Index against cost per task, for the top proprietary and open-weight models Artificial Analysis Intelligence Index against cost per task, for the top proprietary and open-weight models

由 OpenRouter 驱动的路由

OpenRouter 每月向超过 1000 万用户服务超过 800 万亿个令牌,涵盖来自 80 多家提供商的 600 多个模型。其路由基于对该流量中每个提供商的实时测量。

OpenRouter 最近重建了其提供商路由:它不再仅查看最低标价,而是将每个请求发送到价格、速度和可靠性组合最佳的提供商。

当某个提供商变慢或开始失败时,流量会从中移开,直到其恢复,并且在同一次调用内,失败的尝试会在下一个最佳提供商上重试。根据 OpenRouter 的测量,新路由将容量错误减少了 46%,并将首令牌时间改善了 16.9%,吞吐量提高了 16.3%。

Default routing retries on another provider when the first one is rate limited, :cheapest picks the lowest price and :fastest the highest throughput Default routing retries on another provider when the first one is rate limited, :cheapest picks the lowest price and :fastest the highest throughput

此前,Inference Providers 会为您的请求选择一个提供商,如果失败则返回其错误。现在,请求会在另一个提供商上重试。您仍然可以通过在模型 ID 后添加后缀来选择策略或提供商:

zai-org/GLM-5.3            # default: best mix of price, speed and reliability
zai-org/GLM-5.3:fastest    # highest throughput
zai-org/GLM-5.3:cheapest   # lowest price
zai-org/GLM-5.3:novita     # only Novita

路由还具有缓存感知能力:对话会保留在持有其提示缓存的提供商上。为了明确这一点,请在 X-HF-Session-Id 头部为每个对话发送一个稳定的 UUID(参见 提示缓存指南)。

定价

定价保持不变:您在 Hugging Face 账单上支付提供商的价格,Hugging Face 不会在此基础上加价。PRO 用户每月获得 2 美元的额度,Team 和 Enterprise 组织每个席位获得 2 美元。详情请参见 定价与计费。

图像、视频和音频生成

图像、视频和音频生成继续按原样工作,直接通过 Hugging Face Inference Providers 进行,不经过 OpenRouter。您可以继续使用相同的令牌和 API,并访问数以万计的 LoRA。

查看您的请求去向

在模型页面上,您可以立即在小部件中与模型聊天。两个新标签页展示了其背后的情况:Providers 列出了 OpenRouter 可以将该模型路由到的每个提供商,包括其输入和输出价格、过去 24 小时的速度和正常运行时间,而 Metrics 则显示了其中最佳的价格、吞吐量、首字时间、上下文长度和正常运行时间:

Chatting with Inkling-2-Small in the model page widget, opening its code snippets, then its Metrics tab Chatting with Inkling-2-Small in the model page widget, opening its code snippets, then its Metrics tab

您的 使用概览 按每个请求所去的提供商分解您的支出:

Daily Inference Providers spend, broken down by provider Daily Inference Providers spend, broken down by provider

在您的 设置 中,您可以关闭任何不想要的提供商:路由器永远不会将您的请求发送到那里。组织拥有相同的设置,并且适用于所有计入该组织的请求。

Inference Providers settings, with a toggle for each provider Inference Providers settings, with a toggle for each provider

破坏性变更:自定义提供商密钥

对语言模型的请求现在通过 OpenRouter 进行,并计入您的 Hugging Face 账户或组织,因此您不能再使用自己的 API 密钥来访问这些模型的提供商。您仍然可以通过在模型 ID 后添加后缀(model:provider)来选择提供商,或在设置中关闭提供商,您的代码保持不变。图像和视频提供商的自定义密钥继续有效。

下一步

这是我们与 OpenRouter 合作的第一步。接下来:

  • 将您的 OpenRouter 账户连接到 Hugging Face。
  • 更多任务通过 OpenRouter 路由。

尝试一个 模型,或阅读 Inference Providers 文档 以开始使用。

来源:Hugging Face Blog · huggingface.co

© 2026 SI·Hot · Super Intelligence Hot · 超级智能热点 · 网站数据均来源于网络公开资料,版权归来源方所有