NVIDIA Vera Rubin 横扫 MLPerf Training v6.1 并领先 MLPerf Endpoints
NVIDIA Vera Rubin 平台在 MLPerf Training v6.1 中横扫全部基准,并在 MLPerf Endpoints 智能体推理测试中领先。
NVIDIA Vera Rubin 平台在 MLPerf Training v6.1 中横扫全部基准,并在 MLPerf Endpoints 智能体推理测试中领先。
Amazon Bedrock AgentCore 提供内置、DeepEval 和 AutoEval 三类评测器,用于评估智能体在任务完成、工具调用及安全合规方面的表现。该方案支持从业务结果定义成功标准,并将其映射到 Trace 或 Session 级别的观测行为,帮助团队在部署前验证智能体是否真正满足业务需求。
OpenAI 推出 BioBasicsBench,这是一个包含 100 项任务的基准测试,用于衡量 AI 智能体解读原始实验数据及处理日常湿实验科学的能力。
Open ASR Leaderboard 与 Liva AI 合作新增埃及和尼日利亚英语私有数据集,时长分别为 1.34 小时和 1.55 小时。榜单现基于 Kachru 三圈模型报告美国与非美国、内圈与外圈及扩展圈的细分表现。此前该榜单已引入 Appen、DataOceanAI 及 Voice Arena 提供的多口音私有数据。
Gradium 解析其两周前开放的设备端 TTS 模型 Phonon,给出它在 Hugging Face Open TTS Leaderboard 的评测与离线演示。Phonon 31m 约 65MB 且 Apache 2.0 开源,在德语西班牙语 intelligibility 排名第一,CPU 流式延迟领先。这是 Phonon 首个开源发布,两周下载超 200,000 次。
推荐理由:文章详细列出 Phonon 在 Hugging Face Open TTS Leaderboard 的多语种 intelligibility 排名与 CPU 流式延迟优势,便于评估小体积语音模型端侧落地可行性。
Amazon Bedrock AgentCore Evaluations 支持通过代码评估器集成 Jev 和 Strands Decider 2B 等决策模型。这些模型针对固定选项返回校准概率,适用于策略合规等窄范围检查,可作为内置 LLM-as-a-judge 评估器的筛选层。
OpenAI 推出 LifeVal 基准测试,用于衡量 AI 协助人们完成日常任务的能力。该测试涵盖寻找托儿服务、管理财务及处理政府文书等场景。
Microsoft 构建了行业评估数据生成平台,利用 O*NET、在线招聘及 SEC 文件等公开数据生成全规模合成企业环境,以解决真实数据敏感性与评估需求间的矛盾。该平台通过模拟动态组织结构和自动化查询管道,建立了 Microsoft Copilot 的首个标准化评估基准,确保在完全不接触客户数据的前提下验证 AI 系统的准确性与安全性。
AWS 基于 Amazon Bedrock AgentCore 构建了生产级 AI 智能体持续质量评估框架,用于解决智能体在演示中表现良好但在生产中静默失效的问题。
Microsoft Research 推出 StudentSim 系统,利用去标识化公开数据训练个性化 AI 学生模拟器,以在真实测试前评估 AI 辅导效果。该系统通过 StudentSimEval 基准在数学、英语写作和棋类任务中表现优于现有基线,提供了有效的训练反馈信号。此举旨在解决人工学生研究成本高、周期长的问题,加速 AI 辅导系统的研发迭代。
微软与 Hugging Face 联合发布 ThinkingBox 与 ThinkingBox-Bench,已在 Hugging Face 上线并通过 OpenEnv 运行,按智能体留下的后端状态和副作用而非生成的回答评分,每个任务重复运行 20 次。
推荐理由:原文用 507 个有状态业务流程各跑 20 次,区分单次成功率与跨次一致性,并给出按可靠性计算的成本,可迁移到团队自建智能体评测。
Kimi 团队发布 WorldVQA 基准,包含 3,500 个图像问答对以评估多模态大语言模型的原子视觉世界知识。实验显示前沿模型在长尾知识上准确率常低于 50%,且普遍存在过度自信现象,其中 Kimi-K2.5 在 ECE 和 Slope 指标上表现最佳。该数据集及评测脚本已开源,旨在推动多模态 AI 的事实可靠性。
Kimi 团队发布开源基准 PerceptionBench,包含 3,000 道验证题目以隔离评估多模态大模型的 10 项原子视觉感知能力。在 16 个前沿 MLLM 测试中,无模型准确率超过 60%,且感知相关幻觉平均表现最弱。该基准旨在通过暴露感知断点,推动多模态 AI 实现更忠实一致的视觉理解。
文章指出 OpenAI 正在打击旨在提取模型推理能力的保护性模型蒸馏计划,并加强防御措施。
NarrateAI 在 Amazon Bedrock 上通过五项技术实现约 99% 的数值准确率,并支持实时流式响应。这五项技术分别是自适应流水线编排、跨账户多模型故障转移、实时流式评估、复合评估框架和数据准确性验证,其中约 90% 的查询走单次快速路径,仅约 10% 走并行批处理路径。该系统已服务超过 4,000 名 AWS 高管领导者,用于实时业务评审中的对话式数据分析。
OpenAI 发布 MentalHealthBench,一个由专家参与构建的基准,用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。
UK AISI 利用 EvalEval 基础设施公开分享评估结果,以支持更可复现和可验证的评估科学。此次发布包含 HealthBench、FrontierMath 等五个基准在 Claude Opus 4.6 和 GPT-5.4 等六个前沿模型上的验证结果及配置信息。
Hugging Face 发布 BenchMIRT,一种在单条提示词层面审计 LLM 基准测试的多维 IRT 方法,基于 100 个 LLM、16 个基准、超 34K 道题的评测结果训练,在未被告知基准对应能力的情况下自动识别出安全与通用推理两个主导维度。分析显示 BBQ 和 WMDP 的得分与通用推理关联更强,HarmBench 的版权类问题同样如此,说明单一基准分数会混合多种信号。
Voice Arena 与 Hugging Face 合作,在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集,印地语成为该榜单多语言标签页上的首个印度语言。
推荐理由:Open ASR 榜单新增印地语与印度英语评测集,并公开说话人元数据,读者可了解语音评测如何从单一 WER 转向按人群拆解。
Hugging Face 发布研究,用共识分歧探针、掩蔽实体检索和拼写切换三项测试量化语音识别中的基准优化现象,评测了 11 个开源 ASR 模型。
推荐理由:通过三项探针量化 ASR 模型对基准的过拟合,并给出可复用的检测脚本与榜单入口。
微软研究院推出 MindTopo 基准,用于评估多模态大语言模型在连通性、封闭、顺序、分离和绳结等拓扑关系上的推理与规划能力。测试显示,当前模型在静态图像识别上表现明显优于交互式规划任务,失败多发生在规划阶段而非感知阶段,模型难以在场景变化中持续保持对拓扑结构的理解。图像与视频生成工具在维持拓扑关系上同样不可靠。
Google Research 提出知识画像(knowledge profiling)框架,用 WikiProfile 基准(2,150 条维基百科事实、每条配 10 道题)区分编码与召回失败。
DharmaOCR 在葡萄牙语专属基准上取得 0.925 分,高于 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587。该模型通过葡萄牙语数据的监督微调与 DPO 两阶段训练,将全部参数集中于巴西葡萄牙语,从而在提取质量和稳定性上保持优势。
Hume 发布 Real World VoiceEQ,一个评估语音交互人类质量的基准,覆盖 40 多个专有与开源语音模型、15 个以上评估维度和 60 多项指标,涵盖 ASR、TTS、S2S 和语音理解。
推荐理由:Hume 用百万级人工评分构建语音评测基准,揭示现有基准高估真实表现的盲区。
Hugging Face 发布 ScarfBench(Self-Contained Application Refactoring Benchmark),用于评估 AI 智能体在 Spring、Jakarta EE、Quarkus 之间跨框架迁移企业级 Java 应用的能力。
Every Eval Ever(EEE)与 Hugging Face Community Evals 现已互通,支持评测结果交叉发布与解读,并链接到开放模型、榜单和统一元数据存储。
Google DeepMind 的 AI 天气模型 WeatherNext 帮助美国国家飓风中心提前五天预测飓风 Melissa 将以五级强度登陆牙买加,置信度达 80%,三天前升至接近 100%。
推荐理由:通过飓风 Melissa 的实战案例,读者可以了解 AI 天气模型在路径与强度双预测上的具体表现。
Google 发布研究实验 Vantage,通过生成式 AI 在模拟环境中创建对话,评估批判性思维、协作、创造性思维等未来技能,现已在 Google Labs 开放英文注册。
Google Research 提出一套框架,通过改编自 IRI、ERQ 等心理问卷的情境判断测试(SJT),评估 LLM 在真实用户-助手场景中的行为倾向与人类共识的对齐程度。
Google Research 在《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了标注条目数与每条目标注者数的权衡,发现常用的每条目 1、3、5 名标注者往往不足,可靠结果常需超过 10 名。
Google 与康奈尔大学合作在 PNAS 发表研究,让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和一套自建 RAG 系统回答 67 道高温超导专家级问题,由 12 位国际专家按平衡性、全面性、简洁性、证据、图像相关性和定性反馈六项指标盲评打分。
Mistral 提出用 LLM as a Judge 评估 RAG 系统,让"裁判 LLM"按数值、二元或定性量表为"生成 LLM"的答案打分,并汇总为加权总分。