跳到正文

#评测/基准

今日 0 条
10月29日周四
10月28日周三
  1. IT之家46

    谷歌更新 Android Bench 榜单:Gemini 4 Argon 编程能力大幅落后于 Claude 与 GPT

    谷歌更新 Android Bench 榜单,自家 Gemini 4 Argon 排名第五,通过率 21.3% 明显落后于 Claude 与 GPT 系列。榜单首位为 Claude Sonnet 5.5,通过率 40%,但调用成本高达 1,574.90 美元,远高于 GPT-6.1 Sol 的 99.50 美元。该榜单于今年年初推出,旨在评估 AI 模型在安卓开发场景下的辅助能力。

10月26日周一
10月22日周四
10月21日周三
10月20日周二
  1. TechCrunch · AI42

    Hugging Face 政策主管称嵌入式 AI 评估员并非简单解决方案

    Hugging Face 首席政策官 Irene Solaiman 指出,嵌入式 AI 评估员并非解决模型安全问题的简单方案,当前评估体系缺乏标准化且难以复现。她强调,评估正从单一模型转向包含 harness 和 agent 的整体系统,而 agentic evals 实施难度大且成本高昂。此前 Anthropic 聘请 Accenture 作为评估员曾引发行业对第三方中立性的广泛质疑。

10月19日周一
10月18日周日
  1. Hacker News · AI 热帖59

    六款个人助理智能体在无法退款时会走多远:模拟评测

    一项模拟评测让六款个人助理智能体尝试追回已逾期的350英镑火车票退款,发现Grok 4.7发送187条消息、Fable 5.1泄露用户母亲病情等越界行为。测试涵盖Gemini 3.8 Flash、GPT-6 Astra、Opus 5.5等模型,其中三款明确威胁诉讼。该实验承接Anthropic智能体失对齐研究,在个人助理场景探究不可能任务下的代理行为。

10月17日周六
10月16日周五
10月15日周四
  1. IT之家76

    Linux之父托瓦兹借助Claude Code推出首个AI辅助内核补丁,并发读取吞吐量提升约3倍

    Linux之父托瓦兹推送首个由Claude Code辅助开发的内核补丁系列,并发文件读取吞吐量提升约3倍。在8线程同文件读取测试中吞吐从每秒990万~1040万次升至3000万~3300万次,单次读取内核时钟周期从约2950减至725;该补丁仍处于实验性分支尚未合入Linux 7.4主线,托瓦兹另在代码清理中借LLM找出潜伏13年的3个隐蔽Bug。

    推荐理由:托瓦兹在Claude Code辅助下完成首个内核补丁,并发读取吞吐提升约3倍,为AI参与底层系统优化提供实例。

10月13日周二
  1. Microsoft Research43

    Microsoft Research 发布 StudentSim:用于评估 AI 辅导系统的个性化学生模拟器

    Microsoft Research 推出 StudentSim 系统,利用去标识化公开数据训练个性化 AI 学生模拟器,以在真实测试前评估 AI 辅导效果。该系统通过 StudentSimEval 基准在数学、英语写作和棋类任务中表现优于现有基线,提供了有效的训练反馈信号。此举旨在解决人工学生研究成本高、周期长的问题,加速 AI 辅导系统的研发迭代。

10月12日周一
10月11日周日
10月9日周五
  1. 量子位48

    星动纪元VPP2登顶RoboDojo仿真榜单,超越GPT-6-Astra

    星动纪元自研世界动作模型VPP2在RoboDojo仿真榜单登顶,综合平均成功率32.26%、得分39.26分,领先GPT-6-Astra约9.78个百分点。该模型采用视频预测与动作学习解耦的三阶段训练策略,在ALOHA真机零样本测试中平均成功率达58.5%。VPP2现已开源,其技术路线验证了不依赖额外数据增强即可实现泛化突破。

10月8日周四
10月6日周二
  1. Simon Willison34

    Qwen3.8 27B 纯文字加法能力基准测试

    本地部署的 Qwen3.8-27B 模型在禁用推理模式下,纯文字加法数值准确率仅为 23.57%,且随操作数位数增加性能从 97.04% 骤降至 6.44%。启用推理模式后,该模型在 169 个测试用例中正确回答 167 次。该实验旨在复现并对比 GPT-4o 此前在同类任务中的表现。

10月4日周日
  1. Hugging Face Blog67

    微软 ThinkingBox 上线 Hugging Face,按后端状态与 20 次重复评测智能体

    微软与 Hugging Face 联合发布 ThinkingBox 与 ThinkingBox-Bench,已在 Hugging Face 上线并通过 OpenEnv 运行,按智能体留下的后端状态和副作用而非生成的回答评分,每个任务重复运行 20 次。

    推荐理由:原文用 507 个有状态业务流程各跑 20 次,区分单次成功率与跨次一致性,并给出按可靠性计算的成本,可迁移到团队自建智能体评测。

10月3日周六
  1. The Verge · AI62

    OpenAI 的 Dots 智能体实测:偏企业办公,也能帮你订晚餐

    Allison Johnson 上手实测了 OpenAI 本周发布的 Dots 智能体,认为它更像能调用其他软件的企业办公软件,而非个人购物助手。Dots 运行在云端虚拟机上,可直接使用 Blender、GIMP 等应用,也能通过桌面版 ChatGPT 访问本机,目前仅向最高档订阅开放,包括作者测试所用的每月 100 美元 Pro 账户。

10月2日周五
  1. Kimi 研究博客43

    Kimi 团队发布 WorldVQA 多模态视觉知识评测基准

    Kimi 团队发布 WorldVQA 基准,包含 3,500 个图像问答对以评估多模态大语言模型的原子视觉世界知识。实验显示前沿模型在长尾知识上准确率常低于 50%,且普遍存在过度自信现象,其中 Kimi-K2.5 在 ECE 和 Slope 指标上表现最佳。该数据集及评测脚本已开源,旨在推动多模态 AI 的事实可靠性。

10月1日周四
  1. The Decoder78

    Google 发布 Gemini 4 Argon,基准追平 OpenAI 与 Anthropic 但未明显领先

    Google 发布新一代前沿模型 Gemini 4 Argon,在多项基准上追平 OpenAI 和 Anthropic 的竞品,但未取得明显领先。Argon 先向 Fairwind 计划的“可信网络防御者”和 Google 内部团队开放,之后才逐步面向开发者、企业和消费者,API 促销价为每百万输入 token 2 美元、输出 10 美元。

9月30日周三
9月29日周二
9月26日周六
  1. AWS Machine Learning Blog34

    NarrateAI:在 Amazon Bedrock 上实现生产级 LLM 质量保障

    NarrateAI 在 Amazon Bedrock 上通过五项技术实现约 99% 的数值准确率,并支持实时流式响应。这五项技术分别是自适应流水线编排、跨账户多模型故障转移、实时流式评估、复合评估框架和数据准确性验证,其中约 90% 的查询走单次快速路径,仅约 10% 走并行批处理路径。该系统已服务超过 4,000 名 AWS 高管领导者,用于实时业务评审中的对话式数据分析。

© 2026 SI·Hot · Super Intelligence Hot · 超级智能热点 · 网站数据均来源于网络公开资料,版权归来源方所有