XYBench:帮助解决提问背后的真实问题
XYBench 旨在帮助解决提问背后的真实问题,它提供 8K+ 真实问题评测大模型能否识别用户错误前提并导向真实目标。测试显示 Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro 多聚焦表面请求而非真实目标,该基准获 EMNLP 2026 最佳资源论文奖。
XYBench 旨在帮助解决提问背后的真实问题,它提供 8K+ 真实问题评测大模型能否识别用户错误前提并导向真实目标。测试显示 Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro 多聚焦表面请求而非真实目标,该基准获 EMNLP 2026 最佳资源论文奖。
谷歌首次公开 GPT-6.1 Terra、Kimi K3.1 Pro 及 DeepSeek V4.1 Flash 在 Android Bench 的跑分。Kimi K3.1 Pro 通过率为 24.0%,单次运行成本 317.4 美元;DeepSeek V4.1 Flash 通过率 17.3%,成本仅 9.9 美元。这是该基准首次纳入这三款模型的成绩。
Vals AI的CyberOffense基准测试显示,开源模型Deepseek V4.1 Flash 1017以72.8%攻击目标达成率逼近OpenAI受限项目GPT-6 Sol Daybreak的80.8%,单次成本约$3。
一篇论文测试九大当前 AI 智能体在美国国家级实验室开放问题上的自主科研能力,135 份提交无一满足专家全部要求。仅 GPT-6 Astra、GPT-5.6 Sol 和 Claude Opus 5.5 产出无诚信违规提交,但所有智能体均未达到完整性或专家标准。此前八月一项研究已显示智能体在未发表问题上吃力,而 GPT-6 Astra 在理论物理明确问题解决 49/50 表明差距因任务而异。
SemiAnalysis 发布 GDPx 基准,将 AI 智能体放入模拟工作环境执行 206 项跨 11 领域任务,所有模型得分均未超 12%。Claude Opus 5.5 以 12% 领先,Gemini 4 Carbon 以约三分之一成本获 10.9%,GPT-6 Astra 为 9.6%。该基准因任务封闭和评分方式受质疑,但可防止模型针对测试过拟合。
斯坦福大学研究者测试50项广泛引用的LLM论断,发现44%已过期,平均寿命仅15.7个月。推理相关发现全部弱化,而谄媚与评估偏好等结论更持久。研究者建议论文标注模型版本与日期并公开提示词和代码,以便未来复测。
研究人员构建 Realtime-Bench 评估 AI 在实时交互任务中的表现,结果显示 GPT-6 Astra 在真实延迟条件下通过率仅为 36%。该基准包含 50 个游戏与网页任务,旨在测试模型的时间感知、自适应推理及动作选择能力。相比之下,在暂停时钟模式下,高推理能力模型的成功率可接近 70% 至 80%。
Vals 研究发现中国 AI 模型政治立场复杂而非单纯政府传声筒,亲政府倾向因模型与提示语言不同差异明显。评分显示 GLM-5.3 Flash 等反应各异,简体中文提示比英文更亲政府,嵌入智能体框架或接入搜索可降低该分数。此前 Aleph Alpha 与 NewsGuard 研究已指出中国模型常采纳官方叙事。
DeepSeek 团队提出 Super-agent 架构设计,采用 Router 与 Worker 双层架构探索更自主的 Agent 系统。架构包含事件驱动与投机执行等机制,实验显示其 p95 任务耗时 15.7 分钟优于单 Session 方案。该设计思路配有开源原型 dsh-superagent-prototype 但并非正式产品。
Artificial Analysis 昨日发布 Intelligence Index v5,六成评测权重改为私有测试集或隐藏答案,并纳入 FrontierCode 2.0 以代码可合并性打分。
Liu与Han的研究对比Claude Code、OpenCode和mini-SWE-agent三种代码智能体框架在SWE-bench Verified上的表现,发现性能差距多在噪声内但成本最高差三倍。仅OpenCode在大型任务池上落后最多9点,因其输出限制等问题。研究者建议每次harness对比都附相同设置重跑以区分噪声。
论文提出Taste-Bench基准,评估AI智能体长期决策中的步骤质量,测试14个模型显示最佳GPT-5.6 Sol仅59.7%准确率。基准含502个决策分支问题,以隐藏后续轨迹方式让模型二选一。
Mercor发布Benchmark Map,将923个O*NET职业映射到29个AI基准,发现90%美国工时用于现有基准很少或没有覆盖的任务上。现有基准覆盖偏向高薪且AI暴露职业,如软件工程任务密集而卡车驾驶等稀缺。该研究提出用O*NET权重评估职业模型能力,并以APEX基准4职业测试展示初步方法。
IT之家 2026 年 10 月 10 日发布 IT 早报,汇总尊界 V800 制动踏板免费升级、字节 Seed 发现 DeepSeek-V4 长上下文性能漂移、开源 AI 图像编辑套件 ArtCraft 等 22 条科技资讯。内容覆盖汽车制动安全、手机价格调整、人形机器人租赁及英雄联盟总决赛等多元领域。
字节 Seed 团队发现 DeepSeek-V4 的检索准确率随输入位置每 4 个 Token 周期性变化,128K 长上下文测试中最大差距达 40.2 个百分点。研究证实该现象源于分块 KV Cache 压缩技术导致的“相位敏感性”,不同压缩步长对应不同波动周期。尽管后训练能缩小差距,但团队指出常规 Benchmark 难以检测此类位置偏差,需针对特定相位进行专项评估。
字节 Seed 团队在 arXiv 发表论文,指出分块 KV 缓存压缩引入的“相位敏感性”是 DeepSeek 长上下文性能漂移的原因。该研究评估了 DeepSeek-V4-Flash 等模型,发现长上下文检索准确度在不同相位间可能相差高达 40 个百分点,揭示了平均基准分数掩盖的周期性弱点。
Aleph Alpha 用自建基准测试了阿里千问(Qwen)、DeepSeek 和月之暗面(Kimi)的模型,覆盖 967 个挑选出的敏感话题,其评分系统判定仅 17% 至 41% 的回答算平衡,其余复述国家立场、回避或拒答。