微软 ThinkingBox 上线 Hugging Face,按后端状态与 20 次重复评测智能体
微软与 Hugging Face 联合发布 ThinkingBox 与 ThinkingBox-Bench,已在 Hugging Face 上线并通过 OpenEnv 运行,按智能体留下的后端状态和副作用而非生成的回答评分,每个任务重复运行 20 次。
推荐理由:原文用 507 个有状态业务流程各跑 20 次,区分单次成功率与跨次一致性,并给出按可靠性计算的成本,可迁移到团队自建智能体评测。
微软与 Hugging Face 联合发布 ThinkingBox 与 ThinkingBox-Bench,已在 Hugging Face 上线并通过 OpenEnv 运行,按智能体留下的后端状态和副作用而非生成的回答评分,每个任务重复运行 20 次。
推荐理由:原文用 507 个有状态业务流程各跑 20 次,区分单次成功率与跨次一致性,并给出按可靠性计算的成本,可迁移到团队自建智能体评测。
Hugging Face 发布 ProvenanceGuard,一种针对 MCP 智能体的来源感知事实性验证层,旨在解决跨来源混淆问题。在包含 361 个声明的测试中,该模型准确拦截了 138 个应被阻止的声明,并识别出 67 个需复核的支持声明。对于可识别来源的声明,其来源匹配准确率约为 86%。
Google Research 在 ACL 2026 提出 ToolGrad,通过“答案优先”范式与文本梯度迭代生成工具使用数据,显著降低生成成本并提升数据复杂度。基于 ToolGrad-500 微调的 Gemma-3-12B 在 BFCL 基准上得分 83.1,性能超越 GPT-5 及 Claude 4.5 Opus 等专有模型。