Hugging Face 与 OpenRouter 合作让开放权重模型更易运行
Hugging Face and OpenRouter join forces to make open-weight models easy to run
Hugging Face 将 Inference Providers 的语言模型请求切换到 OpenRouter,用户可用同一 Hugging Face token 和 API 调用 Hub 上由服务商承载的开放权重模型。
文章把语言模型请求的路由变化、可观测入口和自定义密钥限制放在一起,读者可据此判断现有工作流需要怎样调整。
Hugging Face 与 OpenRouter 正在合作,让开源权重模型的运行变得轻而易举。每一个主要的开源权重模型发布都已在 Hugging Face Hub 上公开,而 OpenRouter 则大规模提供这些模型的服务,根据对每个提供商的实时测量,将每个请求路由到 80 多家提供商。通过这种方式,Hub 上任何由提供商服务的开源权重模型,都可以通过同一个 API,使用你的 Hugging Face 令牌进行调用,并为每个请求选择最佳提供商。
今天,我们将 Inference Providers 从我们自有的自定义路由器切换到了 OpenRouter。对语言模型的请求现在通过 OpenRouter 处理,它根据实时的价格、速度和可靠性为每次调用选择最佳提供商,并在第一个提供商失败时在另一个提供商上重试。你的代码保持不变。
使用你已有的工具运行它们
该路由器支持 OpenAI 的 Chat Completions 和 Responses API 以及 Anthropic 的 Messages API,适用于所有聊天模型,无论其背后的提供商是谁。选择你的编码代理或 SDK 以及一个模型,然后复制步骤,或者将整个设置作为提示词复制给你的代理:
Claude Code、Codex、OpenCode、Pi 和 Hermes Agent 的设置指南
同一个 Hugging Face 令牌还为你提供 Storage Buckets 的存储、Jobs 的计算以及 Inference Endpoints 的专用推理。PRO、Team 和 Enterprise 计划包含用于计算和推理的每月额度。
开源权重模型的使用情况
在 OpenRouter 上,开源权重模型占服务令牌的比例从 2025 年 10 月的 26.8% 增长到 2026 年 9 月底的 71.7%,此前在 7 月曾达到 77.5% 的峰值(OpenRouter,2026 年 10 月)。在同一时期,开源权重的每周使用量增长了 60 多倍,而闭源模型仅增长了近 10 倍。本周,OpenRouter 上使用最多的模型是一个开源权重模型 DeepSeek V4.1 Flash 1017,处理了 59.2 万亿个令牌(排名)。
开源权重模型的平均成本约为闭源模型的四分之一:每百万输入令牌 0.28 美元,每百万输出令牌 1.62 美元,而闭源模型分别为 1.27 美元和 6.36 美元。
在最具挑战性的基准测试中,最好的开源权重模型仍然落后于最好的专有模型。在 Artificial Analysis Intelligence Index 上,最好的开源权重模型 Kimi K3.1 Pro 得分为 46,而 Claude Fable 5.2 得分为 65,前者的每任务成本约为后者的七分之一(3.68 美元对 26.54 美元)。对于许多工作负载而言,这种权衡是值得的。
由 OpenRouter 驱动的路由
OpenRouter 每月向超过 1000 万用户服务超过 800 万亿个令牌,涵盖来自 80 多家提供商的 600 多个模型。其路由基于对该流量中每个提供商的实时测量。
OpenRouter 最近重建了其提供商路由:它不再仅查看最低标价,而是将每个请求发送到价格、速度和可靠性组合最佳的提供商。
当某个提供商变慢或开始失败时,流量会从中移开,直到其恢复,并且在同一次调用内,失败的尝试会在下一个最佳提供商上重试。根据 OpenRouter 的测量,新路由将容量错误减少了 46%,并将首令牌时间改善了 16.9%,吞吐量提高了 16.3%。
此前,Inference Providers 会为您的请求选择一个提供商,如果失败则返回其错误。现在,请求会在另一个提供商上重试。您仍然可以通过在模型 ID 后添加后缀来选择策略或提供商:
zai-org/GLM-5.3 # default: best mix of price, speed and reliability
zai-org/GLM-5.3:fastest # highest throughput
zai-org/GLM-5.3:cheapest # lowest price
zai-org/GLM-5.3:novita # only Novita
路由还具有缓存感知能力:对话会保留在持有其提示缓存的提供商上。为了明确这一点,请在 X-HF-Session-Id 头部为每个对话发送一个稳定的 UUID(参见 提示缓存指南)。
定价
定价保持不变:您在 Hugging Face 账单上支付提供商的价格,Hugging Face 不会在此基础上加价。PRO 用户每月获得 2 美元的额度,Team 和 Enterprise 组织每个席位获得 2 美元。详情请参见 定价与计费。
图像、视频和音频生成
图像、视频和音频生成继续按原样工作,直接通过 Hugging Face Inference Providers 进行,不经过 OpenRouter。您可以继续使用相同的令牌和 API,并访问数以万计的 LoRA。
查看您的请求去向
在模型页面上,您可以立即在小部件中与模型聊天。两个新标签页展示了其背后的情况:Providers 列出了 OpenRouter 可以将该模型路由到的每个提供商,包括其输入和输出价格、过去 24 小时的速度和正常运行时间,而 Metrics 则显示了其中最佳的价格、吞吐量、首字时间、上下文长度和正常运行时间:
您的 使用概览 按每个请求所去的提供商分解您的支出:
在您的 设置 中,您可以关闭任何不想要的提供商:路由器永远不会将您的请求发送到那里。组织拥有相同的设置,并且适用于所有计入该组织的请求。
破坏性变更:自定义提供商密钥
对语言模型的请求现在通过 OpenRouter 进行,并计入您的 Hugging Face 账户或组织,因此您不能再使用自己的 API 密钥来访问这些模型的提供商。您仍然可以通过在模型 ID 后添加后缀(model:provider)来选择提供商,或在设置中关闭提供商,您的代码保持不变。图像和视频提供商的自定义密钥继续有效。
下一步
这是我们与 OpenRouter 合作的第一步。接下来:
- 将您的 OpenRouter 账户连接到 Hugging Face。
- 更多任务通过 OpenRouter 路由。
尝试一个 模型,或阅读 Inference Providers 文档 以开始使用。
来源:Hugging Face Blog · huggingface.co