谷歌更新安卓 AI 开发基准榜单:Kimi K3.1 Pro / DeepSeek V4.1 Flash 成绩揭晓
谷歌首次公开 GPT-6.1 Terra、Kimi K3.1 Pro 及 DeepSeek V4.1 Flash 在 Android Bench 的跑分。Kimi K3.1 Pro 通过率为 24.0%,单次运行成本 317.4 美元;DeepSeek V4.1 Flash 通过率 17.3%,成本仅 9.9 美元。这是该基准首次纳入这三款模型的成绩。
谷歌首次公开 GPT-6.1 Terra、Kimi K3.1 Pro 及 DeepSeek V4.1 Flash 在 Android Bench 的跑分。Kimi K3.1 Pro 通过率为 24.0%,单次运行成本 317.4 美元;DeepSeek V4.1 Flash 通过率 17.3%,成本仅 9.9 美元。这是该基准首次纳入这三款模型的成绩。
谷歌联合 Artificial Analysis 推出多模态知识智能体基准测试 MKA,用于评估 AI 智能体处理视觉复杂文件及完成现实知识工作任务的能力。Gemini 4 Carbon 在该测试中质量排名第二,平均任务成本仅为排名第一模型的六分之一。该基准包含 200 项任务,覆盖 10 个行业,目前已通过 Artificial Analysis 平台开放。
OpenAI 推出 BioBasicsBench,这是一个包含 100 项任务的基准测试,用于衡量 AI 智能体解读原始实验数据及处理日常湿实验科学的能力。
Open ASR Leaderboard 与 Liva AI 合作新增埃及和尼日利亚英语私有数据集,时长分别为 1.34 小时和 1.55 小时。榜单现基于 Kachru 三圈模型报告美国与非美国、内圈与外圈及扩展圈的细分表现。此前该榜单已引入 Appen、DataOceanAI 及 Voice Arena 提供的多口音私有数据。
SemiAnalysis 发布 GDPx 基准,将 AI 智能体放入模拟工作环境执行 206 项跨 11 领域任务,所有模型得分均未超 12%。Claude Opus 5.5 以 12% 领先,Gemini 4 Carbon 以约三分之一成本获 10.9%,GPT-6 Astra 为 9.6%。该基准因任务封闭和评分方式受质疑,但可防止模型针对测试过拟合。
新开源基准 CloudOpsBench 1.0 包含 45 个 AWS 任务,用于评估 AI 智能体处理 DevOps 任务的能力。Claude Fable 5.1 解决率为 60%,GPT-6 Astra 为 53%,但无模型能完成所有任务。约 80% 的失败源于推理错误,如误判任务范围或过早停止,而非知识缺乏。
OpenAI 发布 LifeVal 基准,旨在衡量 AI 模型协助普通人完成日常事务的能力。该基准覆盖照护、健康、财务等场景,公开示例显示“为孩子找幼儿园”任务得分 93.1%,“组织防洪志愿者”得分 98.0%。目前 LifeVal 仍为 OpenAI 内部评估,外界尚未获得完整任务集及评分代码。
OpenAI 推出 LifeVal 基准测试,用于衡量 AI 协助人们完成日常任务的能力。该测试涵盖寻找托儿服务、管理财务及处理政府文书等场景。
研究人员构建 Realtime-Bench 评估 AI 在实时交互任务中的表现,结果显示 GPT-6 Astra 在真实延迟条件下通过率仅为 36%。该基准包含 50 个游戏与网页任务,旨在测试模型的时间感知、自适应推理及动作选择能力。相比之下,在暂停时钟模式下,高推理能力模型的成功率可接近 70% 至 80%。
Microsoft 构建了行业评估数据生成平台,利用 O*NET、在线招聘及 SEC 文件等公开数据生成全规模合成企业环境,以解决真实数据敏感性与评估需求间的矛盾。该平台通过模拟动态组织结构和自动化查询管道,建立了 Microsoft Copilot 的首个标准化评估基准,确保在完全不接触客户数据的前提下验证 AI 系统的准确性与安全性。
Surge AI 的 DAYJOB: Tax 基准在50个专业税务任务上评测 AI 智能体,覆盖八个领域并包含1789份工作区文件。领先模型 Claude Sonnet 5.5 在95%阈值下通过率仅10.8%,该基准延伸自此前的 Healthcare 与 Finance 评测。
Artificial Analysis 昨日发布 Intelligence Index v5,六成评测权重改为私有测试集或隐藏答案,并纳入 FrontierCode 2.0 以代码可合并性打分。
阿里 Qwen 团队开源了 BlenderWorld,这是一个用于评测视觉智能体在 Blender 中完成真实 3D 创作任务的基准。该基准包含 223 个任务和 2,651 条标准,要求 AI 交付可编辑的 .blend 工程文件,而非仅生成图像。项目采用 MIT 许可证,代码与数据集已同步发布至 GitHub、Hugging Face 和 ModelScope。
Microsoft Research 推出 StudentSim 系统,利用去标识化公开数据训练个性化 AI 学生模拟器,以在真实测试前评估 AI 辅导效果。该系统通过 StudentSimEval 基准在数学、英语写作和棋类任务中表现优于现有基线,提供了有效的训练反馈信号。此举旨在解决人工学生研究成本高、周期长的问题,加速 AI 辅导系统的研发迭代。
新基准 Humanity’s Sixth Sense 显示 GPT 6 Astra 在直观视觉推理上 pass@1 仅 53.6,远低于人类基线 93.1。该基准包含 522 个问题,旨在测试模型对视觉场景隐含信息的推理能力。此前业界普遍认为此类任务需依赖复杂的 3D 世界模型,而当前 LLM 的表现对此观点构成挑战。
Vals AI在Vibe Code Bench上测试发现,GPT-6 Sol与Claude Opus 5.5的AI智能体团队相比单智能体成本高出1.8至5.1倍,但质量提升大多不显著。在最高推理设置下团队未带来实质优势,仅GPT-6 Sol中等推理时团队得分高7.3分。Anthropic与OpenAI研究者也证实多智能体主要提升速度而非质量。
UniPat AI 发布多学科端到端论文复现基准 PaperBenchX,表现最强的 GPT-6 Astra 在 93 个任务中完整复现率仅为 13.98%。该基准覆盖 12 个研究方向,要求 Agent 在隔离环境中重跑工作流以验证科学证据,目前团队已开源 12 个代表性测试任务。
本地部署的 Qwen3.8-27B 模型在禁用推理模式下,纯文字加法数值准确率仅为 23.57%,且随操作数位数增加性能从 97.04% 骤降至 6.44%。启用推理模式后,该模型在 169 个测试用例中正确回答 167 次。该实验旨在复现并对比 GPT-4o 此前在同类任务中的表现。
微软与 Hugging Face 联合发布 ThinkingBox 与 ThinkingBox-Bench,已在 Hugging Face 上线并通过 OpenEnv 运行,按智能体留下的后端状态和副作用而非生成的回答评分,每个任务重复运行 20 次。
推荐理由:原文用 507 个有状态业务流程各跑 20 次,区分单次成功率与跨次一致性,并给出按可靠性计算的成本,可迁移到团队自建智能体评测。
Kimi 团队发布 WorldVQA 基准,包含 3,500 个图像问答对以评估多模态大语言模型的原子视觉世界知识。实验显示前沿模型在长尾知识上准确率常低于 50%,且普遍存在过度自信现象,其中 Kimi-K2.5 在 ECE 和 Slope 指标上表现最佳。该数据集及评测脚本已开源,旨在推动多模态 AI 的事实可靠性。
Kimi 团队发布开源基准 PerceptionBench,包含 3,000 道验证题目以隔离评估多模态大模型的 10 项原子视觉感知能力。在 16 个前沿 MLLM 测试中,无模型准确率超过 60%,且感知相关幻觉平均表现最弱。该基准旨在通过暴露感知断点,推动多模态 AI 实现更忠实一致的视觉理解。
OpenAI 发布 MentalHealthBench,一个由专家参与构建的基准,用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。
UK AISI 利用 EvalEval 基础设施公开分享评估结果,以支持更可复现和可验证的评估科学。此次发布包含 HealthBench、FrontierMath 等五个基准在 Claude Opus 4.6 和 GPT-5.4 等六个前沿模型上的验证结果及配置信息。
Hugging Face 发布 BenchMIRT,一种在单条提示词层面审计 LLM 基准测试的多维 IRT 方法,基于 100 个 LLM、16 个基准、超 34K 道题的评测结果训练,在未被告知基准对应能力的情况下自动识别出安全与通用推理两个主导维度。分析显示 BBQ 和 WMDP 的得分与通用推理关联更强,HarmBench 的版权类问题同样如此,说明单一基准分数会混合多种信号。
Voice Arena 与 Hugging Face 合作,在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集,印地语成为该榜单多语言标签页上的首个印度语言。
推荐理由:Open ASR 榜单新增印地语与印度英语评测集,并公开说话人元数据,读者可了解语音评测如何从单一 WER 转向按人群拆解。
Hugging Face 发布研究,用共识分歧探针、掩蔽实体检索和拼写切换三项测试量化语音识别中的基准优化现象,评测了 11 个开源 ASR 模型。
推荐理由:通过三项探针量化 ASR 模型对基准的过拟合,并给出可复用的检测脚本与榜单入口。
新基准 DiG-bench 通过 70 个隐藏规则的游戏测试 AI 的探索与发现能力,结果显示 Opus 5 和 Fable 5 表现最佳,但前沿模型在 Tier 7 难度上仍远落后于人类。
微软研究院推出 MindTopo 基准,用于评估多模态大语言模型在连通性、封闭、顺序、分离和绳结等拓扑关系上的推理与规划能力。测试显示,当前模型在静态图像识别上表现明显优于交互式规划任务,失败多发生在规划阶段而非感知阶段,模型难以在场景变化中持续保持对拓扑结构的理解。图像与视频生成工具在维持拓扑关系上同样不可靠。
Google Research 提出知识画像(knowledge profiling)框架,用 WikiProfile 基准(2,150 条维基百科事实、每条配 10 道题)区分编码与召回失败。
本期 Import AI 汇总多项研究:Epoch 与 METR 发布 MirrorCode 基准,考察 AI 在纯 CLI 访问下重写软件的能力,25 个目标程序中有 17 个至少出现一次满分运行,Opus 4.7 用 14 小时、251 美元推理成本完成一项人类需 2 至 17 周的任务。
DharmaOCR 在葡萄牙语专属基准上取得 0.925 分,高于 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587。该模型通过葡萄牙语数据的监督微调与 DPO 两阶段训练,将全部参数集中于巴西葡萄牙语,从而在提取质量和稳定性上保持优势。
Hume 发布 Real World VoiceEQ,一个评估语音交互人类质量的基准,覆盖 40 多个专有与开源语音模型、15 个以上评估维度和 60 多项指标,涵盖 ASR、TTS、S2S 和语音理解。
推荐理由:Hume 用百万级人工评分构建语音评测基准,揭示现有基准高估真实表现的盲区。
Fable 在 KernelBench-Mega 上写出首个真正的 megakernel,在 RTX PRO 6000 Blackwell 上用 CUDA 实现 18.71X 加速,超过 Claude Opus 4.8 的 14.4X、GLM-5.2 的 11.14X 和 GPT 5.5 的 4.34X。
ByteDance 发布 EdgeBench,通过 134 个运行至少 12 小时的真实任务测试 AI 智能体能否通过经验提升。该基准引入反馈循环与隐藏评判机制,将评估重点从静态知识转向动态学习。研究发现前沿智能体学习速度每 3 个月约翻倍,且得分随交互呈对数 S 型曲线增长。
Hugging Face 发布 ScarfBench(Self-Contained Application Refactoring Benchmark),用于评估 AI 智能体在 Spring、Jakarta EE、Quarkus 之间跨框架迁移企业级 Java 应用的能力。
Google Research 提出一套框架,通过改编自 IRI、ERQ 等心理问卷的情境判断测试(SJT),评估 LLM 在真实用户-助手场景中的行为倾向与人类共识的对齐程度。
Google Research 在《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了标注条目数与每条目标注者数的权衡,发现常用的每条目 1、3、5 名标注者往往不足,可靠结果常需超过 10 名。
Google 与康奈尔大学合作在 PNAS 发表研究,让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和一套自建 RAG 系统回答 67 道高温超导专家级问题,由 12 位国际专家按平衡性、全面性、简洁性、证据、图像相关性和定性反馈六项指标盲评打分。