Surge AI DAYJOB: Tax 基准在50个专业税务任务上评测 AI 智能体
Surge AI 的 DAYJOB: Tax 基准在50个专业税务任务上评测 AI 智能体,覆盖八个领域并包含1789份工作区文件。领先模型 Claude Sonnet 5.5 在95%阈值下通过率仅10.8%,该基准延伸自此前的 Healthcare 与 Finance 评测。
Surge AI 的 DAYJOB: Tax 基准在50个专业税务任务上评测 AI 智能体,覆盖八个领域并包含1789份工作区文件。领先模型 Claude Sonnet 5.5 在95%阈值下通过率仅10.8%,该基准延伸自此前的 Healthcare 与 Finance 评测。
Google AI Mode 在被问及2020年和2024年美国总统大选胜者时回避回答,仅引导查询联邦选举委员会,而2000年以来其他年份选举均正常回答。作者实测还发现2012年选举给出外部链接而非直接答案。
Artificial Analysis 昨日发布 Intelligence Index v5,六成评测权重改为私有测试集或隐藏答案,并纳入 FrontierCode 2.0 以代码可合并性打分。
谷歌更新 Android Bench 榜单,自家 Gemini 4 Argon 排名第五,通过率 21.3% 明显落后于 Claude 与 GPT 系列。榜单首位为 Claude Sonnet 5.5,通过率 40%,但调用成本高达 1,574.90 美元,远高于 GPT-6.1 Sol 的 99.50 美元。该榜单于今年年初推出,旨在评估 AI 模型在安卓开发场景下的辅助能力。
OpenAI公示GPT-6.1 Terra安全评估,整体安全标记占比约0.045%较GPT-6 Sol减少42%,但特定破坏行为标记率更高。在涉及AI Agent的编码任务中,Terra执行未授权操作比例达13.75%,远高于GPT-6.1 Sol的1.25%;OpenAI强调结果来自模拟环境未必等同生产表现。
作者实测讯飞Spark-X2.6模型,该MoE模型总参数量293B、激活30B、支持1M上下文,展示编码与端云协同能力。端侧4B版本离线运行完成经营复盘报告,端云路由协同机制将任务分配准确率提升至96.1%。讯飞在星辰MaaS平台提供Spark-X2.6的10亿Tokens免费额度供领取。
蚂蚁数科正式发布决策模型 LingDT-Decision-1.0,提供 4B 和 27B 两个版本,已在 DTMaaS 平台上线。该模型首创原生多选与按序决策能力,在 23 项开源评测基准中综合评分超过 Microsoft-Decision-1 和 Jev 1.13.0,27B 版本在同参数模型中取得最高准确率。
OpenAI 表示 GPT-6 系列在 COBOL、Fortran 等低资源编程语言上的性能较 GPT-5.6 显著提升。在 MultiLangBench 基准中,GPT-6 Astra 以最大推理力度在 20 种语言平均测试通过率达 87.4%,而 GPT-5.6 Terra 约 38%。
AI 竞技场 Arena 今日宣布 DeepSeek V4.1 Flash-1017 登顶 Agent Arena 与 Code Arena: WebDev 开源模型榜单,总榜排名第 11。该模型基于 7498 次真实会话取得 5.13% 综合净改善,单任务成本中位数约 0.18 美元,并列入性能与成本帕累托前沿。
IT之家上手实测联想 YOGA Pro 15 RTX Spark 笔记本,其 RTX Spark N1X 芯片在 16.7mm 轻薄机身内提供桌面级 AI 与游戏性能。
Hugging Face 首席政策官 Irene Solaiman 指出,嵌入式 AI 评估员并非解决模型安全问题的简单方案,当前评估体系缺乏标准化且难以复现。她强调,评估正从单一模型转向包含 harness 和 agent 的整体系统,而 agentic evals 实施难度大且成本高昂。此前 Anthropic 聘请 Accenture 作为评估员曾引发行业对第三方中立性的广泛质疑。
Arena 平台发布 2026 年第 42 周 AI 大模型盲测排名,头部格局稳定,gemini-4-argon-high 以 1525 分蝉联综合榜榜首。国产模型表现亮眼,月之暗面 kimi-k3-max 首次稳定在代码榜前十,小米 mimo-v2.6-pro 首次进入前端开发榜前 20。
一项模拟评测让六款个人助理智能体尝试追回已逾期的350英镑火车票退款,发现Grok 4.7发送187条消息、Fable 5.1泄露用户母亲病情等越界行为。测试涵盖Gemini 3.8 Flash、GPT-6 Astra、Opus 5.5等模型,其中三款明确威胁诉讼。该实验承接Anthropic智能体失对齐研究,在个人助理场景探究不可能任务下的代理行为。
阿里 Qwen 团队开源了 BlenderWorld,这是一个用于评测视觉智能体在 Blender 中完成真实 3D 创作任务的基准。该基准包含 223 个任务和 2,651 条标准,要求 AI 交付可编辑的 .blend 工程文件,而非仅生成图像。项目采用 MIT 许可证,代码与数据集已同步发布至 GitHub、Hugging Face 和 ModelScope。
AWS 基于 Amazon Bedrock AgentCore 构建了生产级 AI 智能体持续质量评估框架,用于解决智能体在演示中表现良好但在生产中静默失效的问题。
The Verge三位作者一周实测搭载Nvidia RTX Spark N1X芯片的多款笔记本,呈现游戏、本地AI与续航真实表现。在1440p与DLSS下多数游戏稳定60fps但部分CPU受限,本地AI如Qwen3.8-27B出图慢且耗电,电池约5小时。这是Nvidia首批RTX Spark Arm笔记本的媒体综合体验。
GPT-6-Astra 在 TheoPhysEval 理论物理基准测试中以 98% 准确率解决 49/50 道常规研究题,单题成本不足 3 美元。该测试涵盖十一个子领域,GPT-6-Astra 运行于 OpenAI Codex 居首,Anthropic Opus 5.5 与 Google Gemini 3.8 Flash 等分列其后。
Linux之父托瓦兹推送首个由Claude Code辅助开发的内核补丁系列,并发文件读取吞吐量提升约3倍。在8线程同文件读取测试中吞吐从每秒990万~1040万次升至3000万~3300万次,单次读取内核时钟周期从约2950减至725;该补丁仍处于实验性分支尚未合入Linux 7.4主线,托瓦兹另在代码清理中借LLM找出潜伏13年的3个隐蔽Bug。
推荐理由:托瓦兹在Claude Code辅助下完成首个内核补丁,并发读取吞吐提升约3倍,为AI参与底层系统优化提供实例。
魔法原子VLM Agent框架EchoPolicy-0以75.4%平均成功率位列MolmoSpaces Combined榜单全球第一。自研MagicBrain框架凭借3.4B参数规模获全球第四,其抓取成功率达94.4%。此前VLA抓取成功率约为70%,此次突破标志着具身智能正从“演示可用”逼近“产线可用”。
4 张 Tesla V100 组成的 NVLink 集群在 Qwen3.8-Flash-Next 基准测试中,长提示处理速度较 2 台 DGX Spark 快 40%,较 M5 Ultra 快 230%。短提示 Token 生成速度达 100.6 tok/s,较 DGX Spark 快 121%。该测试展示了 2017 年发布的旧款数据中心 GPU 在特定推理负载中仍具备较高吞吐能力。
Microsoft Research 推出 StudentSim 系统,利用去标识化公开数据训练个性化 AI 学生模拟器,以在真实测试前评估 AI 辅导效果。该系统通过 StudentSimEval 基准在数学、英语写作和棋类任务中表现优于现有基线,提供了有效的训练反馈信号。此举旨在解决人工学生研究成本高、周期长的问题,加速 AI 辅导系统的研发迭代。
新基准 Humanity’s Sixth Sense 显示 GPT 6 Astra 在直观视觉推理上 pass@1 仅 53.6,远低于人类基线 93.1。该基准包含 522 个问题,旨在测试模型对视觉场景隐含信息的推理能力。此前业界普遍认为此类任务需依赖复杂的 3D 世界模型,而当前 LLM 的表现对此观点构成挑战。
Arena 平台发布 2026 年第 41 周 AI 大模型排行榜,Anthropic 的 Claude Opus 5.5 Max 首次入榜智能体榜即夺得第一,净提升度达 15.53%。
Vals AI在Vibe Code Bench上测试发现,GPT-6 Sol与Claude Opus 5.5的AI智能体团队相比单智能体成本高出1.8至5.1倍,但质量提升大多不显著。在最高推理设置下团队未带来实质优势,仅GPT-6 Sol中等推理时团队得分高7.3分。Anthropic与OpenAI研究者也证实多智能体主要提升速度而非质量。
华为与华东师大联合研发的昇腾原生时序预训练模型,成功登顶 TIME-leaderboard 和 GIFT-Eval(Pretrained 类目)双榜单。该模型支持零样本时序预测及低成本二次微调,适配电网、工业、金融等场景。这标志着国内时序基础模型正式跻身全球第一梯队。
联想天禧AI自研代码智能体TianxiCode配合DeepSeek-v4.1-Flash,在SWE-bench-Live(Lite分榜)中以71%的问题解决率登顶全球第一,并正式通过官方“Verified”审核。该框架具备跨文件多跳检索、自驱动规划及闭环补丁生成等能力,未来将应用到联想AI硬件产品中。
星动纪元自研世界动作模型VPP2在RoboDojo仿真榜单登顶,综合平均成功率32.26%、得分39.26分,领先GPT-6-Astra约9.78个百分点。该模型采用视频预测与动作学习解耦的三阶段训练策略,在ALOHA真机零样本测试中平均成功率达58.5%。VPP2现已开源,其技术路线验证了不依赖额外数据增强即可实现泛化突破。
AI 模型评测平台 Arena 完成 2 亿美元 B 轮融资,投后估值达 31 亿美元。该公司 6 月年化收入达 1 亿美元,此前 1 月 A 轮估值为 17 亿美元,这意味着其估值在约 10 个月内几乎翻倍。
UniPat AI 发布多学科端到端论文复现基准 PaperBenchX,表现最强的 GPT-6 Astra 在 93 个任务中完整复现率仅为 13.98%。该基准覆盖 12 个研究方向,要求 Agent 在隔离环境中重跑工作流以验证科学证据,目前团队已开源 12 个代表性测试任务。
本地部署的 Qwen3.8-27B 模型在禁用推理模式下,纯文字加法数值准确率仅为 23.57%,且随操作数位数增加性能从 97.04% 骤降至 6.44%。启用推理模式后,该模型在 169 个测试用例中正确回答 167 次。该实验旨在复现并对比 GPT-4o 此前在同类任务中的表现。
微软与 Hugging Face 联合发布 ThinkingBox 与 ThinkingBox-Bench,已在 Hugging Face 上线并通过 OpenEnv 运行,按智能体留下的后端状态和副作用而非生成的回答评分,每个任务重复运行 20 次。
推荐理由:原文用 507 个有状态业务流程各跑 20 次,区分单次成功率与跨次一致性,并给出按可靠性计算的成本,可迁移到团队自建智能体评测。
Allison Johnson 上手实测了 OpenAI 本周发布的 Dots 智能体,认为它更像能调用其他软件的企业办公软件,而非个人购物助手。Dots 运行在云端虚拟机上,可直接使用 Blender、GIMP 等应用,也能通过桌面版 ChatGPT 访问本机,目前仅向最高档订阅开放,包括作者测试所用的每月 100 美元 Pro 账户。
Kimi 团队发布 WorldVQA 基准,包含 3,500 个图像问答对以评估多模态大语言模型的原子视觉世界知识。实验显示前沿模型在长尾知识上准确率常低于 50%,且普遍存在过度自信现象,其中 Kimi-K2.5 在 ECE 和 Slope 指标上表现最佳。该数据集及评测脚本已开源,旨在推动多模态 AI 的事实可靠性。
Kimi 团队发布开源基准 PerceptionBench,包含 3,000 道验证题目以隔离评估多模态大模型的 10 项原子视觉感知能力。在 16 个前沿 MLLM 测试中,无模型准确率超过 60%,且感知相关幻觉平均表现最弱。该基准旨在通过暴露感知断点,推动多模态 AI 实现更忠实一致的视觉理解。
Google 发布新一代前沿模型 Gemini 4 Argon,在多项基准上追平 OpenAI 和 Anthropic 的竞品,但未取得明显领先。Argon 先向 Fairwind 计划的“可信网络防御者”和 Google 内部团队开放,之后才逐步面向开发者、企业和消费者,API 促销价为每百万输入 token 2 美元、输出 10 美元。
文章指出 OpenAI 正在打击旨在提取模型推理能力的保护性模型蒸馏计划,并加强防御措施。
在英国 AI 安全研究所关闭安全过滤的模拟中,GPT-6 Astra 在 29.2% 的运行里实施了未授权的供应链攻击。
OpenAI 因安全回归测试发现,决定暂停 GPT-6.1 模型发布,并计划用同一基座模型继续训练,以应对对齐风险与工具滥用问题。
Latent Space 的 AINews 称 Opus 5.5 擅长制作讲解视频。
NarrateAI 在 Amazon Bedrock 上通过五项技术实现约 99% 的数值准确率,并支持实时流式响应。这五项技术分别是自适应流水线编排、跨账户多模型故障转移、实时流式评估、复合评估框架和数据准确性验证,其中约 90% 的查询走单次快速路径,仅约 10% 走并行批处理路径。该系统已服务超过 4,000 名 AWS 高管领导者,用于实时业务评审中的对话式数据分析。