跳到正文

#评测/基准

今日 0 条
11月11日周三
  1. IT之家45

    谷歌联合 Artificial Analysis 推出 MKA 基准测试:Gemini 4 Carbon 多模态知识工作测试获第二,任务成本仅为第一名六分之一

    谷歌联合 Artificial Analysis 推出多模态知识智能体基准测试 MKA,用于评估 AI 智能体处理视觉复杂文件及完成现实知识工作任务的能力。Gemini 4 Carbon 在该测试中质量排名第二,平均任务成本仅为排名第一模型的六分之一。该基准包含 200 项任务,覆盖 10 个行业,目前已通过 Artificial Analysis 平台开放。

11月7日周六
11月6日周五
11月5日周四
11月3日周二
  1. IT之家48

    OpenAI 发布 LifeVal 基准:从选幼儿园到报税,测试 AI 的“人间烟火”技能

    OpenAI 发布 LifeVal 基准,旨在衡量 AI 模型协助普通人完成日常事务的能力。该基准覆盖照护、健康、财务等场景,公开示例显示“为孩子找幼儿园”任务得分 93.1%,“组织防洪志愿者”得分 98.0%。目前 LifeVal 仍为 OpenAI 内部评估,外界尚未获得完整任务集及评分代码。

11月2日周一
  1. Import AI34

    Realtime-Bench 显示 LLM 难以胜任低延迟任务

    研究人员构建 Realtime-Bench 评估 AI 在实时交互任务中的表现,结果显示 GPT-6 Astra 在真实延迟条件下通过率仅为 36%。该基准包含 50 个游戏与网页任务,旨在测试模型的时间感知、自适应推理及动作选择能力。相比之下,在暂停时钟模式下,高推理能力模型的成功率可接近 70% 至 80%。

10月30日周五
  1. Microsoft Research27

    Microsoft 构建行业评估数据生成平台以建立 Copilot 企业级 AI 置信度基准

    Microsoft 构建了行业评估数据生成平台,利用 O*NET、在线招聘及 SEC 文件等公开数据生成全规模合成企业环境,以解决真实数据敏感性与评估需求间的矛盾。该平台通过模拟动态组织结构和自动化查询管道,建立了 Microsoft Copilot 的首个标准化评估基准,确保在完全不接触客户数据的前提下验证 AI 系统的准确性与安全性。

10月29日周四
10月17日周六
10月13日周二
  1. Microsoft Research43

    Microsoft Research 发布 StudentSim:用于评估 AI 辅导系统的个性化学生模拟器

    Microsoft Research 推出 StudentSim 系统,利用去标识化公开数据训练个性化 AI 学生模拟器,以在真实测试前评估 AI 辅导效果。该系统通过 StudentSimEval 基准在数学、英语写作和棋类任务中表现优于现有基线,提供了有效的训练反馈信号。此举旨在解决人工学生研究成本高、周期长的问题,加速 AI 辅导系统的研发迭代。

10月12日周一
10月8日周四
10月6日周二
  1. Simon Willison34

    Qwen3.8 27B 纯文字加法能力基准测试

    本地部署的 Qwen3.8-27B 模型在禁用推理模式下,纯文字加法数值准确率仅为 23.57%,且随操作数位数增加性能从 97.04% 骤降至 6.44%。启用推理模式后,该模型在 169 个测试用例中正确回答 167 次。该实验旨在复现并对比 GPT-4o 此前在同类任务中的表现。

10月4日周日
  1. Hugging Face Blog67

    微软 ThinkingBox 上线 Hugging Face,按后端状态与 20 次重复评测智能体

    微软与 Hugging Face 联合发布 ThinkingBox 与 ThinkingBox-Bench,已在 Hugging Face 上线并通过 OpenEnv 运行,按智能体留下的后端状态和副作用而非生成的回答评分,每个任务重复运行 20 次。

    推荐理由:原文用 507 个有状态业务流程各跑 20 次,区分单次成功率与跨次一致性,并给出按可靠性计算的成本,可迁移到团队自建智能体评测。

10月2日周五
  1. Kimi 研究博客43

    Kimi 团队发布 WorldVQA 多模态视觉知识评测基准

    Kimi 团队发布 WorldVQA 基准,包含 3,500 个图像问答对以评估多模态大语言模型的原子视觉世界知识。实验显示前沿模型在长尾知识上准确率常低于 50%,且普遍存在过度自信现象,其中 Kimi-K2.5 在 ECE 和 Slope 指标上表现最佳。该数据集及评测脚本已开源,旨在推动多模态 AI 的事实可靠性。

9月23日周三
9月22日周二
9月2日周三
  1. Hugging Face Blog32

    Hugging Face 推出 BenchMIRT:审计 LLM 基准测试究竟在测什么

    Hugging Face 发布 BenchMIRT,一种在单条提示词层面审计 LLM 基准测试的多维 IRT 方法,基于 100 个 LLM、16 个基准、超 34K 道题的评测结果训练,在未被告知基准对应能力的情况下自动识别出安全与通用推理两个主导维度。分析显示 BBQ 和 WMDP 的得分与通用推理关联更强,HarmBench 的版权类问题同样如此,说明单一基准分数会混合多种信号。

8月28日周五
  1. Hugging Face Blog62

    Open ASR Leaderboard 新增首个全球南方语言评测集 Monsoon

    Voice Arena 与 Hugging Face 合作,在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集,印地语成为该榜单多语言标签页上的首个印度语言。

    推荐理由:Open ASR 榜单新增印地语与印度英语评测集,并公开说话人元数据,读者可了解语音评测如何从单一 WER 转向按人群拆解。

8月21日周五
8月17日周一
8月13日周四
  1. Microsoft Research41

    MindTopo:微软研究院推出评估多模态模型拓扑推理能力的新基准

    微软研究院推出 MindTopo 基准,用于评估多模态大语言模型在连通性、封闭、顺序、分离和绳结等拓扑关系上的推理与规划能力。测试显示,当前模型在静态图像识别上表现明显优于交互式规划任务,失败多发生在规划阶段而非感知阶段,模型难以在场景变化中持续保持对拓扑结构的理解。图像与视频生成工具在维持拓扑关系上同样不可靠。

8月12日周三
7月27日周一
7月16日周四
7月15日周三
7月6日周一
7月1日周三
4月3日周五
4月1日周三
3月17日周二

© 2026 SI·Hot · Super Intelligence Hot · 超级智能热点 · 网站数据均来源于网络公开资料,版权归来源方所有