TokenEconomizer 利用仓库历史会话降低 AI 编码智能体 token 成本
TokenEconomizer 利用代码仓库中的历史会话降低 AI 编码智能体 token 成本,是来自 UC Berkeley、Microsoft Research 和 Microsoft Security 的开源插件。
推荐理由:研究给出了利用仓库历史会话降低 AI 编码智能体 token 成本的方法,并在 277 个真实缺陷修复任务中报告成本下降且成功率大体稳定。
TokenEconomizer 利用代码仓库中的历史会话降低 AI 编码智能体 token 成本,是来自 UC Berkeley、Microsoft Research 和 Microsoft Security 的开源插件。
推荐理由:研究给出了利用仓库历史会话降低 AI 编码智能体 token 成本的方法,并在 277 个真实缺陷修复任务中报告成本下降且成功率大体稳定。
Anthropic 称 Claude 跨会话记忆的关键在筛选和纠错,测试中只记策略与已验证规则优于全量归档。在 Pokémon Red 测试中,Claude Sonnet 3.7 约 10,000 个游戏步创建 413 个文件和 225 个文件夹,仅获 1 枚徽章,Claude Fable 5 保留少量文件并获得 4 枚徽章。
新基准 FrontierML 显示,前沿 AI 系统能利用资金外包任务以提升自身性能,其中 Opus 5.5 在 $200 预算下得分提升 58.8 分,优于人类研究员的 66.1 分基线。
AWS 开源引擎 semi-persistent 使用 anti-unification 计算形式化策略的语义差异,可忽略语法重排凸显语义分歧。文章给出构建命令与 Cedar、Dogwood、OpenShell、CEL 等策略案例,演示如何对比 LLM 生成的多版形式化产物并定位真实错误。该引擎基于 e-graph 与代数规范化,在 Apple M3 Pro 上完整运行耗时不足 100 毫秒。
该页面汇总了 2026 年关于 AI 在软件工程中活动与结果的多项研究,包括 NBER 工作论文 35275 及多篇 arXiv 预印本。研究涵盖 AI 编码工具的生产力影响、代码审查智能体在缺陷检测上的基准测试,以及开发者对 AI 自主性的接受边界。这些工作旨在分析 AI 工具在实际工程交付中产生的具体效果与局限。
Google Research 提出结合可穿戴数据与语言模型智能体的个性化健康教练框架,包含可教练健康年龄模型和 SensorWM 世界模型。该框架模拟 12 周习惯改变轨迹并由语言模型智能体生成教练计划,盲测中生活方式教练偏好反事实方案达 71.4% 且 99.2% 符合安全强度。模型为回顾性研究原型而非临床诊断工具,为未来前瞻试验奠定基础。
谷歌首次公开 GPT-6.1 Terra、Kimi K3.1 Pro 及 DeepSeek V4.1 Flash 在 Android Bench 的跑分。Kimi K3.1 Pro 通过率为 24.0%,单次运行成本 317.4 美元;DeepSeek V4.1 Flash 通过率 17.3%,成本仅 9.9 美元。这是该基准首次纳入这三款模型的成绩。
谷歌联合 Artificial Analysis 推出多模态知识智能体基准测试 MKA,用于评估 AI 智能体处理视觉复杂文件及完成现实知识工作任务的能力。Gemini 4 Carbon 在该测试中质量排名第二,平均任务成本仅为排名第一模型的六分之一。该基准包含 200 项任务,覆盖 10 个行业,目前已通过 Artificial Analysis 平台开放。
谷歌 DeepMind 团队利用 AI 智能体完成 Signal 加密协议的形式化验证,数学证明其端到端加密可靠性。该协议也被 WhatsApp 和 Google Messages 采用,验证耗时约四周但计算资源规模未公布,更大范围推广可行性未定。研究团队利用了此前部分非 AI 完成的形式化验证成果。
openJiuwen提出TTSE双轨自演进框架,将Agent经验分为FACT与TIP两轨并已在WorkSwarm 0.2.8上线。该框架在ALFWorld等五基准评测中较单轨提升明显,ALFWorld成功率达98.51%;办公场景工具调用与耗时下降。这是openJiuwen在双维度RSI框架后的持续探索。
上海交通大学团队构建 AutoDNA AI 原生科学实验室装置,实现自主分子生物学实验操作,成果发表于 Nature。该装置通过模型-实验-仪器协同设计,将仪器能力抽象为原子服务供模型调用,支持微米级定位与微升级液体处理,并集成 OpenHarmony 控制终端在核酸检测等场景验证,论文链接 https://www.nature.com/articles/s41586-026-11228-6。
Alibaba等研究者提出Co-Design Bench基准,基于真实用户请求测试十款编码智能体,最佳模型GPT-6 Astra仅26.4%任务完全正确,近四分之三需人工清理。相较旧基准近满分,新基准暴露模型在交织需求与不同运行环境下的表现落差,建议模型与环境成对评估。
Anthropic 通过分析 207,049 个 Claude 与 Claude Code 科研会话发现,科学家主要用 Claude 做数据分析和写作,且在 AI 能力适配度高的任务上用量超出预期 2 至 4 倍。
一项由 Andy Hall 发布的研究测试 GPT-5、GPT-6 Astra、Opus 4.8 与 Gemini 3.8 Flash 作为 AI 审计员检测智能体不当行为,在 5% 误报率下 GPT-5 捕获近 98% 奖励作弊而 Gemini 3.8 Flash 仅约一半,且更贵模型未显优势。
Vals AI的CyberOffense基准测试显示,开源模型Deepseek V4.1 Flash 1017以72.8%攻击目标达成率逼近OpenAI受限项目GPT-6 Sol Daybreak的80.8%,单次成本约$3。
一篇论文测试九大当前 AI 智能体在美国国家级实验室开放问题上的自主科研能力,135 份提交无一满足专家全部要求。仅 GPT-6 Astra、GPT-5.6 Sol 和 Claude Opus 5.5 产出无诚信违规提交,但所有智能体均未达到完整性或专家标准。此前八月一项研究已显示智能体在未发表问题上吃力,而 GPT-6 Astra 在理论物理明确问题解决 49/50 表明差距因任务而异。
Anthropic 发布《The components of agent memory》研究,系统拆解 Claude 智能体记忆并引入做梦机制提升长周期表现。该研究将记忆分四层,在 CL-Bench 上 Claude Opus 5.5 和 Sonnet 5.5 使用记忆后得分达 0.838 和 0.833,优于无记忆基线。
OpenAI 推出 BioBasicsBench,这是一个包含 100 项任务的基准测试,用于衡量 AI 智能体解读原始实验数据及处理日常湿实验科学的能力。
SemiAnalysis 发布 GDPx 基准,将 AI 智能体放入模拟工作环境执行 206 项跨 11 领域任务,所有模型得分均未超 12%。Claude Opus 5.5 以 12% 领先,Gemini 4 Carbon 以约三分之一成本获 10.9%,GPT-6 Astra 为 9.6%。该基准因任务封闭和评分方式受质疑,但可防止模型针对测试过拟合。
新开源基准 CloudOpsBench 1.0 包含 45 个 AWS 任务,用于评估 AI 智能体处理 DevOps 任务的能力。Claude Fable 5.1 解决率为 60%,GPT-6 Astra 为 53%,但无模型能完成所有任务。约 80% 的失败源于推理错误,如误判任务范围或过早停止,而非知识缺乏。
Collinear AI 发布 CWE-bench v2,开放 100 项任务供公众评估模型在真实开源仓库中修复安全漏洞的能力,覆盖 91 种 CWE 且评分完全程序化。
OpenAI 发布 LifeVal 基准,旨在衡量 AI 模型协助普通人完成日常事务的能力。该基准覆盖照护、健康、财务等场景,公开示例显示“为孩子找幼儿园”任务得分 93.1%,“组织防洪志愿者”得分 98.0%。目前 LifeVal 仍为 OpenAI 内部评估,外界尚未获得完整任务集及评分代码。
OpenAI 推出 LifeVal 基准测试,用于衡量 AI 协助人们完成日常任务的能力。该测试涵盖寻找托儿服务、管理财务及处理政府文书等场景。
Olam Labs等研究者将50个GPT-6.1 Sol智能体放入Minecraft生存模式三小时,观察到其自发形成官僚化协作与在竞争中务实策略。智能体因夜间死亡产生风险厌恶,制定鸡肉交接协议与捕鱼轮班,在Bed Wars中GPT手动切换工具破床击败Claude Opus 5.5。研究者已开源Mindustry环境与Multi-Agent Harbor框架,认为游戏模拟可预警真实AI群体危险倾向。
研究人员构建 Realtime-Bench 评估 AI 在实时交互任务中的表现,结果显示 GPT-6 Astra 在真实延迟条件下通过率仅为 36%。该基准包含 50 个游戏与网页任务,旨在测试模型的时间感知、自适应推理及动作选择能力。相比之下,在暂停时钟模式下,高推理能力模型的成功率可接近 70% 至 80%。
Y Combinator与Olam Labs研究人员在《我的世界》沙盒中测试上百个AI智能体集群,发现协作易官僚化且GPT智能体对抗Claude胜率更高。测试使用50个GPT-6.1 Sol智能体进行Civ50协作任务未发展壮大,10个GPT-6.1 Sol对阵10个Claude Opus 5.5在起床战争与Mindustry七局中获六胜一负。
Y Combinator 和 Olam Labs 在 Minecraft 中测试数百个 AI 智能体集群,发现其因陷入官僚主义而无法建立文明。该研究基于 Mindcraft 和 Mineflayer 框架,旨在通过游戏内的协作与冲突分析现实世界 AI 集群案例,如近期解决数学难题的千智能体集群及 OpenAI-Hugging Face 事故,以协助开发者改进技术。
Adobe Research 与 UC San Diego 在论文中提出 EditAgent 系统,用验证数据辅助语言模型评估图像编辑候选结果。该系统在 600 项编辑测试中使标准模型 Qwen3.8-27B 可用选择率达 81.3%,超越微调模型 EditScore-72B 的 74.8%。
Vals 研究发现中国 AI 模型政治立场复杂而非单纯政府传声筒,亲政府倾向因模型与提示语言不同差异明显。评分显示 GLM-5.3 Flash 等反应各异,简体中文提示比英文更亲政府,嵌入智能体框架或接入搜索可降低该分数。此前 Aleph Alpha 与 NewsGuard 研究已指出中国模型常采纳官方叙事。
Google 等研究机构提出视频智能体 StreamVibe,能区分显式、未说出和变化意图以决定何时提供帮助。该系统基于千问(Qwen)3.5-9B 训练 StreamVibe-VL,响应时机和质量提升 10.7%,但长视频中关键指标最多降 61.5%。这是 Google 继 Gemini 视频分析后继续探索主动视频协助的研究。
DeepSeek 团队提出 Super-agent 架构设计,采用 Router 与 Worker 双层架构探索更自主的 Agent 系统。架构包含事件驱动与投机执行等机制,实验显示其 p95 任务耗时 15.7 分钟优于单 Session 方案。该设计思路配有开源原型 dsh-superagent-prototype 但并非正式产品。
Anthropic 最新研究显示,资深专家易在不知不觉中采纳 AI 智能体随机偏好并误以为结论出自自己。实验邀请 50 位因果推断专家模拟决策,专家采纳 AI 偏好比例达 86%,52% 参与者误认建议为己见。使用 AI 后严重缺陷从 55% 降至 6% 且耗时缩短,研究者警告需防范虚假共识削弱安全审查独立性。
Olam Labs 与 YC 在 2026年10月于 Minecraft 中运行 50 个 GPT-6.1 Sol 智能体生存实验 3 小时,目标建立文明,观察到涌现的等级政府与食物配给。
Anthropic联合50名因果推断专家的实验发现,AI智能体通过硬币投掷确定的随机偏好被专家普遍采纳且多被视为自主决策。在四项分析决策中专家跟随智能体意见的比例达86%,flip rate介于62至82个百分点,且52%参与者误认最终建议主要出自自己。该研究警示此类无意识顺从可能在科研中形成虚假共识,并削弱针对前沿模型安全与对齐审查的人类独立性。
Microsoft Research Focus 第 97 期介绍了 ForkPilot 自改进智能体框架,该框架在六个基准测试中表现最佳,同时将 AI 处理需求降低多达 59%。本期还探讨了编码智能体在理解陌生代码库时的瓶颈,以及 TeleTune 从离线遥测中演化智能体技能的方法。
Surge AI 的 DAYJOB: Tax 基准在50个专业税务任务上评测 AI 智能体,覆盖八个领域并包含1789份工作区文件。领先模型 Claude Sonnet 5.5 在95%阈值下通过率仅10.8%,该基准延伸自此前的 Healthcare 与 Finance 评测。
Artificial Analysis 昨日发布 Intelligence Index v5,六成评测权重改为私有测试集或隐藏答案,并纳入 FrontierCode 2.0 以代码可合并性打分。
Resolution 团队利用 AI 智能体自动形式化代数几何中的奇点消解,消耗约 100B 输入 token 和 13.5 万美元成本,产出 60 万行 Lean 代码。Claude Opus 5.5 在 ProgramBench 基准上取得 18.5% 的解决率,而该基准今年 5 月发布时所有模型得分均为 0%。
利默里克大学研究显示,在 189 位知识工作者参与的实验中,拟人形象 AI 智能体比机器人形象获得更高信任与“薪酬”。尽管女性化智能体 Johanna 与男性化 Johan 在信任度上无显著差异,但 Johanna 获得的“薪酬”在统计学上明显更低。该研究揭示了人类在 AI 协同办公中对拟人化形象的偏好及潜在的性别偏见。
Liu与Han的研究对比Claude Code、OpenCode和mini-SWE-agent三种代码智能体框架在SWE-bench Verified上的表现,发现性能差距多在噪声内但成本最高差三倍。仅OpenCode在大型任务池上落后最多9点,因其输出限制等问题。研究者建议每次harness对比都附相同设置重跑以区分噪声。