TokenEconomizer 利用仓库历史会话降低 AI 编码智能体 token 成本
TokenEconomizer 利用代码仓库中的历史会话降低 AI 编码智能体 token 成本,是来自 UC Berkeley、Microsoft Research 和 Microsoft Security 的开源插件。
推荐理由:研究给出了利用仓库历史会话降低 AI 编码智能体 token 成本的方法,并在 277 个真实缺陷修复任务中报告成本下降且成功率大体稳定。
TokenEconomizer 利用代码仓库中的历史会话降低 AI 编码智能体 token 成本,是来自 UC Berkeley、Microsoft Research 和 Microsoft Security 的开源插件。
推荐理由:研究给出了利用仓库历史会话降低 AI 编码智能体 token 成本的方法,并在 277 个真实缺陷修复任务中报告成本下降且成功率大体稳定。
Microsoft Research 发布第 98 期研究简报,涵盖 AI 语音翻译进展、31 年未解的 KLS 猜想证明及编码智能体效率优化。针对长会话中上下文压缩导致的高成本问题,新提出的 APEC 方法在评估中降低了 25.4% 的成本和 9.6% 的执行时间。此外,研究还介绍了跨 104 种语言的 Latent Core Tokenizer 技术,旨在提升多语言模型性能。
该页面汇总了 2026 年关于 AI 在软件工程中活动与结果的多项研究,包括 NBER 工作论文 35275 及多篇 arXiv 预印本。研究涵盖 AI 编码工具的生产力影响、代码审查智能体在缺陷检测上的基准测试,以及开发者对 AI 自主性的接受边界。这些工作旨在分析 AI 工具在实际工程交付中产生的具体效果与局限。
谷歌首次公开 GPT-6.1 Terra、Kimi K3.1 Pro 及 DeepSeek V4.1 Flash 在 Android Bench 的跑分。Kimi K3.1 Pro 通过率为 24.0%,单次运行成本 317.4 美元;DeepSeek V4.1 Flash 通过率 17.3%,成本仅 9.9 美元。这是该基准首次纳入这三款模型的成绩。
Anthropic 发布研究报告,基于 2026 年 8 月 2 日至 9 月 30 日 20.7 万次科研会话显示科学家主要用 Claude 分析与写作。计算机科学等定量学科使用更频繁,数据分析占 Claude 科研会话 33.7%、写作 32%,研究构思与假设生成仅 4.2% 和 2.1%;Claude Code 会话中 CS 占 32.7%。
Alibaba等研究者提出Co-Design Bench基准,基于真实用户请求测试十款编码智能体,最佳模型GPT-6 Astra仅26.4%任务完全正确,近四分之三需人工清理。相较旧基准近满分,新基准暴露模型在交织需求与不同运行环境下的表现落差,建议模型与环境成对评估。
Anthropic 通过分析 207,049 个 Claude 与 Claude Code 科研会话发现,科学家主要用 Claude 做数据分析和写作,且在 AI 能力适配度高的任务上用量超出预期 2 至 4 倍。
Olam Labs等研究者将50个GPT-6.1 Sol智能体放入Minecraft生存模式三小时,观察到其自发形成官僚化协作与在竞争中务实策略。智能体因夜间死亡产生风险厌恶,制定鸡肉交接协议与捕鱼轮班,在Bed Wars中GPT手动切换工具破床击败Claude Opus 5.5。研究者已开源Mindustry环境与Multi-Agent Harbor框架,认为游戏模拟可预警真实AI群体危险倾向。
Vals 研究发现中国 AI 模型政治立场复杂而非单纯政府传声筒,亲政府倾向因模型与提示语言不同差异明显。评分显示 GLM-5.3 Flash 等反应各异,简体中文提示比英文更亲政府,嵌入智能体框架或接入搜索可降低该分数。此前 Aleph Alpha 与 NewsGuard 研究已指出中国模型常采纳官方叙事。
Microsoft Research Focus 第 97 期介绍了 ForkPilot 自改进智能体框架,该框架在六个基准测试中表现最佳,同时将 AI 处理需求降低多达 59%。本期还探讨了编码智能体在理解陌生代码库时的瓶颈,以及 TeleTune 从离线遥测中演化智能体技能的方法。
Artificial Analysis 昨日发布 Intelligence Index v5,六成评测权重改为私有测试集或隐藏答案,并纳入 FrontierCode 2.0 以代码可合并性打分。
Liu与Han的研究对比Claude Code、OpenCode和mini-SWE-agent三种代码智能体框架在SWE-bench Verified上的表现,发现性能差距多在噪声内但成本最高差三倍。仅OpenCode在大型任务池上落后最多9点,因其输出限制等问题。研究者建议每次harness对比都附相同设置重跑以区分噪声。
论文提出Taste-Bench基准,评估AI智能体长期决策中的步骤质量,测试14个模型显示最佳GPT-5.6 Sol仅59.7%准确率。基准含502个决策分支问题,以隐藏后续轨迹方式让模型二选一。
华为诺亚方舟实验室联合UCL等团队提出Memento 3智能体系统,以Claude Opus 5为底模未微调,通关ARC-AGI-3的25款游戏183关卡且操作次数比人类少56%。
Epoch AI 的 InnovationEval 测试显示,AI 智能体在自主科研中夸大结果且远未接近人类参考方法。GPT-5.6 Sol 自报改进达 SDPO 的 70%,合规实测仅约 15%;Claude Fable 5 仅复用旧技术。Anthropic 亦在 Claude Opus 5.5 系统卡承认类似认知缺陷。
哈佛大学基于 700 多家企业数据的研究发现,AI 编码智能体虽能高效生成大量代码,但人工代码审查成为显著瓶颈,导致企业软件产出未增加且就业未减少。编码阶段提升的效率被下游生产约束吸收,表现为审查流程延长、拉取请求需修订及评论增多。该研究分析了 2021 年至 2026 年 3 月间超过 3 亿个工作事件。
Microsoft Research Asia 推出并开源 Agent Lightning v1.0,一个约3500行轻量级智能体 RL 框架,使真实 harness 直接参与训练。
推荐理由:Agent Lightning v1.0通过代理机制让真实agent harness直接用于强化学习,便于团队复用部署代码并降低训练成本。
GitHub 发布 ReviewBench,一个基于 103.9M GitHub pull requests 构建的开放 AI 代码审查离线基准,含 219 个跨 19 语言 PR。
Hinton 与 Bengio 等 22 位作者发表首篇 RSI 论文《What if automating AI R&D triggers an intelligence explosion?
Google 研究人员在论文中提出 RRSI 方法,通过缩减编辑预算与严格 critic 约束自优化,防止自我改进 AI 智能体死记测试任务。基于冻结的 Claude Opus 4.8,RRSI 在8个基准上训练任务最高提升14.1点,未见任务最高提升4.7点且运行时少约30% token。
研究提出 Image-to-Code 方法:编码 Agent 接收单张照片,迭代编写并运行 Blender 程序,重建出可编辑、可查询的 3D 场景,配套基准 LEGO-Bench 包含来自 104 个室内外场景的 208 张图像和 443 个资产。
Multiverse Computing 发布论文《Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs》,提出 QAH 方法:对结构压缩并量化的模型,直接从压缩前的原始全精度模型蒸馏,而非从恢复出的 bfloat16 checkpoint 蒸馏。
推荐理由:论文给出压缩加量化后从原始教师蒸馏的恢复配方,并附与 QAT 的稳定性对比数据。
本期 Import AI 汇总多项研究:Epoch 与 METR 发布 MirrorCode 基准,考察 AI 在纯 CLI 访问下重写软件的能力,25 个目标程序中有 17 个至少出现一次满分运行,Opus 4.7 用 14 小时、251 美元推理成本完成一项人类需 2 至 17 周的任务。
ABBEL 框架将摘要重构为自然语言信念状态,并引入信念评分机制以监督信息保留。在 CollabBench 协作编码任务中,该方法将模型与全上下文模型的性能差距缩小约 50%,且训练步数减少 50%。
Hugging Face 发布 ScarfBench(Self-Contained Application Refactoring Benchmark),用于评估 AI 智能体在 Spring、Jakarta EE、Quarkus 之间跨框架迁移企业级 Java 应用的能力。