OpenAI 推出 MentalHealthBench
OpenAI 发布 MentalHealthBench，一个由专家参与构建的基准，用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。
#评测/基准
#评测/基准
今日 0 条OpenAI NewsSI 评分3333
Hugging Face BlogSI 评分4242 UK AISI 与 EvalEval 合作实现基准测试结果可复现
UK AISI 利用 EvalEval 基础设施公开分享评估结果，以支持更可复现和可验证的评估科学。此次发布包含 HealthBench、FrontierMath 等五个基准在 Claude Opus 4.6 和 GPT-5.4 等六个前沿模型上的验证结果及配置信息。
Hugging Face BlogSI 评分3232 Hugging Face 推出 BenchMIRT：审计 LLM 基准测试究竟在测什么
Hugging Face 发布 BenchMIRT，一种在单条提示词层面审计 LLM 基准测试的多维 IRT 方法，基于 100 个 LLM、16 个基准、超 34K 道题的评测结果训练，在未被告知基准对应能力的情况下自动识别出安全与通用推理两个主导维度。分析显示 BBQ 和 WMDP 的得分与通用推理关联更强，HarmBench 的版权类问题同样如此，说明单一基准分数会混合多种信号。
Hugging Face Blog精选SI 评分6262 Open ASR Leaderboard 新增首个全球南方语言评测集 Monsoon
Voice Arena 与 Hugging Face 合作，在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集，印地语成为该榜单多语言标签页上的首个印度语言。
推荐理由：Open ASR 榜单新增印地语与印度英语评测集，并公开说话人元数据，读者可了解语音评测如何从单一 WER 转向按人群拆解。
Hugging Face Blog精选SI 评分6666 Hugging Face 研究：语音识别基准优化如何被量化
Hugging Face 发布研究，用共识分歧探针、掩蔽实体检索和拼写切换三项测试量化语音识别中的基准优化现象，评测了 11 个开源 ASR 模型。
推荐理由：通过三项探针量化 ASR 模型对基准的过拟合，并给出可复用的检测脚本与榜单入口。
Import AISI 评分4141 Import AI 469: DiG-bench 基准测试、RSI 模拟器与 AI 科研品味
新基准 DiG-bench 通过 70 个隐藏规则的游戏测试 AI 的探索与发现能力，结果显示 Opus 5 和 Fable 5 表现最佳，但前沿模型在 Tier 7 难度上仍远落后于人类。
Microsoft ResearchSI 评分4141 MindTopo：微软研究院推出评估多模态模型拓扑推理能力的新基准
微软研究院推出 MindTopo 基准，用于评估多模态大语言模型在连通性、封闭、顺序、分离和绳结等拓扑关系上的推理与规划能力。测试显示，当前模型在静态图像识别上表现明显优于交互式规划任务，失败多发生在规划阶段而非感知阶段，模型难以在场景变化中持续保持对拓扑结构的理解。图像与视频生成工具在维持拓扑关系上同样不可靠。
Google ResearchSI 评分4343 Google Research 研究：召回而非编码是前沿 LLM 事实性的瓶颈
Google Research 提出知识画像（knowledge profiling）框架，用 WikiProfile 基准（2,150 条维基百科事实、每条配 10 道题）区分编码与召回失败。
Import AISI 评分6262 Import AI 466：机器人领域的苦涩教训、AI 完成周级编程任务与 OpenAI 意外出现的 AI 黑客
本期 Import AI 汇总多项研究：Epoch 与 METR 发布 MirrorCode 基准，考察 AI 在纯 CLI 访问下重写软件的能力，25 个目标程序中有 17 个至少出现一次满分运行，Opus 4.7 用 14 小时、251 美元推理成本完成一项人类需 2 至 17 周的任务。
Hugging Face BlogSI 评分2222 DharmaOCR 在巴西葡萄牙语 OCR 基准上超越 Mistral OCR4 与 Unlimited-OCR
DharmaOCR 在葡萄牙语专属基准上取得 0.925 分，高于 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587。该模型通过葡萄牙语数据的监督微调与 DPO 两阶段训练，将全部参数集中于巴西葡萄牙语，从而在提取质量和稳定性上保持优势。
Hugging Face Blog精选SI 评分6262 Hume 发布 Real World VoiceEQ 语音 AI 评测基准
Hume 发布 Real World VoiceEQ，一个评估语音交互人类质量的基准，覆盖 40 多个专有与开源语音模型、15 个以上评估维度和 60 多项指标，涵盖 ASR、TTS、S2S 和语音理解。
推荐理由：Hume 用百万级人工评分构建语音评测基准，揭示现有基准高估真实表现的盲区。
Import AISI 评分4242 Import AI 464：Fable 编写 GPU kernel、AI 自动化与模拟计算
Fable 在 KernelBench-Mega 上写出首个真正的 megakernel，在 RTX PRO 6000 Blackwell 上用 CUDA 实现 18.71X 加速，超过 Claude Opus 4.8 的 14.4X、GLM-5.2 的 11.14X 和 GPT 5.5 的 4.34X。
Hugging Face BlogSI 评分3737 ScarfBench：面向企业级 Java 框架迁移的 AI 智能体基准测试
Hugging Face 发布 ScarfBench（Self-Contained Application Refactoring Benchmark），用于评估 AI 智能体在 Spring、Jakarta EE、Quarkus 之间跨框架迁移企业级 Java 应用的能力。
Google ResearchSI 评分3434 Google Research 评估 LLM 行为倾向与人类的对齐程度
Google Research 提出一套框架，通过改编自 IRI、ERQ 等心理问卷的情境判断测试（SJT），评估 LLM 在真实用户-助手场景中的行为倾向与人类共识的对齐程度。
Google ResearchSI 评分3131 Google Research 研究：AI 基准测试需要多少标注者才够？
Google Research 在《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了标注条目数与每条目标注者数的权衡，发现常用的每条目 1、3、5 名标注者往往不足，可靠结果常需超过 10 名。
Google ResearchSI 评分3838 Google 在 PNAS 发表研究：用高温超导问题评测 LLM 世界模型
Google 与康奈尔大学合作在 PNAS 发表研究，让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和一套自建 RAG 系统回答 67 道高温超导专家级问题，由 12 位国际专家按平衡性、全面性、简洁性、证据、图像相关性和定性反馈六项指标盲评打分。