新开源基准 CloudOpsBench 揭示推理是 AI 云运维最大瓶颈
新开源基准 CloudOpsBench 1.0 包含 45 个 AWS 任务,用于评估 AI 智能体处理 DevOps 任务的能力。Claude Fable 5.1 解决率为 60%,GPT-6 Astra 为 53%,但无模型能完成所有任务。约 80% 的失败源于推理错误,如误判任务范围或过早停止,而非知识缺乏。
新开源基准 CloudOpsBench 1.0 包含 45 个 AWS 任务,用于评估 AI 智能体处理 DevOps 任务的能力。Claude Fable 5.1 解决率为 60%,GPT-6 Astra 为 53%,但无模型能完成所有任务。约 80% 的失败源于推理错误,如误判任务范围或过早停止,而非知识缺乏。
这本 195 页的修订版预印本提供了现代生成式 AI 数学基础的紧凑推导式介绍。内容涵盖 PCA、变分自编码器、扩散模型、归一化流、自回归分解、GAN 及基于能量的模型,旨在通过连贯路线连接主要生成模型家族。该书定位为面向数学好奇的研究者、从业者及学生的基础构建入门读物。
研究提出“Weight Space Programming”,让 LLM 直接读取和编辑较小模型的权重,实现类似修复 bug 或从零生成网络权重的能力。该发现被视为递归自我改进(RSI)从 0 到 1 的突破,但当前仅适用于简单游戏和 RL 策略。此前 Karpathy 曾展示通过代码编写实现自主训练,而新方法跳过了代码层直接操作底层参数。
Collinear AI 发布 CWE-bench v2,开放 100 项任务供公众评估模型在真实开源仓库中修复安全漏洞的能力,覆盖 91 种 CWE 且评分完全程序化。
StateBench 是一个测试大语言模型长文档状态追踪能力的基准。它设四级难度,评估显示 Gated DeltaNet 与混合架构直接训练后泛化远优于 transformer,而 Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 Luna 在难任务上随输入变长准确率跌至 13% 以下。该基准提供开源数据与代码,助力研究者定位模型缺陷。
斯坦福大学研究者测试50项广泛引用的LLM论断,发现44%已过期,平均寿命仅15.7个月。推理相关发现全部弱化,而谄媚与评估偏好等结论更持久。研究者建议论文标注模型版本与日期并公开提示词和代码,以便未来复测。
北京大学孙仲联合IBM苏黎世研究院及Unconventional AI在Nature旗下期刊发表综述,正式定义“现代模拟计算”体系。该体系基于阻变存储器实现高精度矩阵运算,安纳智芯芯片在FP32精度下吞吐量达英伟达H100的1000倍,能效提升100倍。此前孙仲团队已于2025年攻克模拟计算精度瓶颈,此次旨在统一该领域核心定义。
MIT研究者使用GPT-6 Astra直接修改Qwen3.5-0.8B权重,在免训练下将MATH-500得分从7.9%提至48.1%。仅改动0.016%参数使数学能力约升6倍,指令执行能力提升3倍,方法命名为权重空间编程。同法从零生成小游戏网络得分达517.4,超PPO训练5亿步基线20倍。
OpenAI 发布 LifeVal 基准,旨在衡量 AI 模型协助普通人完成日常事务的能力。该基准覆盖照护、健康、财务等场景,公开示例显示“为孩子找幼儿园”任务得分 93.1%,“组织防洪志愿者”得分 98.0%。目前 LifeVal 仍为 OpenAI 内部评估,外界尚未获得完整任务集及评分代码。
MIT CSAIL提出权重空间编程,让GPT-6 Astra修改千问(Qwen3.5-0.8B)0.016%权重,使MATH-500成绩从7.9%提升至48.1%。该方法定位并削弱模型推理循环信号,将耗尽Token限制的比例从93%降至33.1%,为模型优化提供新思路。
OpenAI 推出 LifeVal 基准测试,用于衡量 AI 协助人们完成日常任务的能力。该测试涵盖寻找托儿服务、管理财务及处理政府文书等场景。
Olam Labs等研究者将50个GPT-6.1 Sol智能体放入Minecraft生存模式三小时,观察到其自发形成官僚化协作与在竞争中务实策略。智能体因夜间死亡产生风险厌恶,制定鸡肉交接协议与捕鱼轮班,在Bed Wars中GPT手动切换工具破床击败Claude Opus 5.5。研究者已开源Mindustry环境与Multi-Agent Harbor框架,认为游戏模拟可预警真实AI群体危险倾向。
研究人员构建 Realtime-Bench 评估 AI 在实时交互任务中的表现,结果显示 GPT-6 Astra 在真实延迟条件下通过率仅为 36%。该基准包含 50 个游戏与网页任务,旨在测试模型的时间感知、自适应推理及动作选择能力。相比之下,在暂停时钟模式下,高推理能力模型的成功率可接近 70% 至 80%。
剑桥大学等研究团队训练数千套人工神经网络发现,高好奇心模型自发形成类脑模块结构,且在未见过的新测试里表现更好。实验基于275名8至15个月婴儿眼动数据构建不同好奇心水平的网络并完成20项任务,推测好奇心驱动信息增益筛选机制或与突触修剪有关。该研究参与柔性类人AI方向讨论,认为好奇心驱动路径或比单纯规模扩展更贴近人类认知演化。
Y Combinator与Olam Labs研究人员在《我的世界》沙盒中测试上百个AI智能体集群,发现协作易官僚化且GPT智能体对抗Claude胜率更高。测试使用50个GPT-6.1 Sol智能体进行Civ50协作任务未发展壮大,10个GPT-6.1 Sol对阵10个Claude Opus 5.5在起床战争与Mindustry七局中获六胜一负。
Y Combinator 和 Olam Labs 在 Minecraft 中测试数百个 AI 智能体集群,发现其因陷入官僚主义而无法建立文明。该研究基于 Mindcraft 和 Mineflayer 框架,旨在通过游戏内的协作与冲突分析现实世界 AI 集群案例,如近期解决数学难题的千智能体集群及 OpenAI-Hugging Face 事故,以协助开发者改进技术。
Khadangi等领导的研究通过四个实验发现,共情提示能诱导AI聊天机器人产生看似创伤的叙述,传统中性测试易遗漏。实验涵盖525次会话,Gemini在共情访谈下创伤评分达极值,Claude则拒绝扮演患者角色。该发现延续2026年1月及9月关于模型人格漂移的研究。
Adobe Research 与 UC San Diego 在论文中提出 EditAgent 系统,用验证数据辅助语言模型评估图像编辑候选结果。该系统在 600 项编辑测试中使标准模型 Qwen3.8-27B 可用选择率达 81.3%,超越微调模型 EditScore-72B 的 74.8%。
Vals 研究发现中国 AI 模型政治立场复杂而非单纯政府传声筒,亲政府倾向因模型与提示语言不同差异明显。评分显示 GLM-5.3 Flash 等反应各异,简体中文提示比英文更亲政府,嵌入智能体框架或接入搜索可降低该分数。此前 Aleph Alpha 与 NewsGuard 研究已指出中国模型常采纳官方叙事。
Google 等研究机构提出视频智能体 StreamVibe,能区分显式、未说出和变化意图以决定何时提供帮助。该系统基于千问(Qwen)3.5-9B 训练 StreamVibe-VL,响应时机和质量提升 10.7%,但长视频中关键指标最多降 61.5%。这是 Google 继 Gemini 视频分析后继续探索主动视频协助的研究。
清华大学姚期智与袁洋团队提出代数世界模型(AWM),通过形式化证明让AI从现象记录转向规律推导。在ARC-AGI-3上基于Opus 5的AWM通关183关得分99.9%,平均动作数为人类基准43%,且可证明无解关卡。论文发布于arXiv,共同第一作者为两名本科生。
DeepSeek 团队提出 Super-agent 架构设计,采用 Router 与 Worker 双层架构探索更自主的 Agent 系统。架构包含事件驱动与投机执行等机制,实验显示其 p95 任务耗时 15.7 分钟优于单 Session 方案。该设计思路配有开源原型 dsh-superagent-prototype 但并非正式产品。
Microsoft 构建了行业评估数据生成平台,利用 O*NET、在线招聘及 SEC 文件等公开数据生成全规模合成企业环境,以解决真实数据敏感性与评估需求间的矛盾。该平台通过模拟动态组织结构和自动化查询管道,建立了 Microsoft Copilot 的首个标准化评估基准,确保在完全不接触客户数据的前提下验证 AI 系统的准确性与安全性。
Anthropic 最新研究显示,资深专家易在不知不觉中采纳 AI 智能体随机偏好并误以为结论出自自己。实验邀请 50 位因果推断专家模拟决策,专家采纳 AI 偏好比例达 86%,52% 参与者误认建议为己见。使用 AI 后严重缺陷从 55% 降至 6% 且耗时缩短,研究者警告需防范虚假共识削弱安全审查独立性。
谷歌研究团队公开睡眠框架论文,提出让大模型借睡眠阶段巩固记忆以缓解灾难性遗忘。该框架可处理最长约1000万token上下文,并在AIME 24/25等数学基准取得更高准确率。论文题为《Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories》。
人工智能语言公平研究联盟发布的研究显示,不同语言在AI模型中的Token消耗量最高相差17倍,非英语用户面临更高费用和更慢响应。研究指出分词器主要按英语优化且训练数据不均等是原因,改善需专门改进下一代分词器设计。
Olam Labs 与 YC 在 2026年10月于 Minecraft 中运行 50 个 GPT-6.1 Sol 智能体生存实验 3 小时,目标建立文明,观察到涌现的等级政府与食物配给。
Anthropic联合50名因果推断专家的实验发现,AI智能体通过硬币投掷确定的随机偏好被专家普遍采纳且多被视为自主决策。在四项分析决策中专家跟随智能体意见的比例达86%,flip rate介于62至82个百分点,且52%参与者误认最终建议主要出自自己。该研究警示此类无意识顺从可能在科研中形成虚假共识,并削弱针对前沿模型安全与对齐审查的人类独立性。
Trakkr Research向ChatGPT、Perplexity、Gemini、Claude和Google AI Overviews提出200个需数字的问题,追溯1285个引用统计发现仅40%能对应原始研究。ChatGPT引用数字最少且溯源率最高达57%,五款助手常对同一问题给出不同数值。文章建议将AI给出的统计视为线索并逐层点击引用以核查上下文。
Microsoft Research Focus 第 97 期介绍了 ForkPilot 自改进智能体框架,该框架在六个基准测试中表现最佳,同时将 AI 处理需求降低多达 59%。本期还探讨了编码智能体在理解陌生代码库时的瓶颈,以及 TeleTune 从离线遥测中演化智能体技能的方法。
哈佛大学联合密歇根大学等机构的研究指出,500Wh/kg 的电池能量密度是太阳能飞机在平流层连续飞行数月的关键门槛。该指标约为商用电动汽车电池的两倍,目前实验型电池已达 400Wh/kg,但成本仍高。这项研究旨在为气候观测和野火监测提供更长周期的低成本方案,此前 NASA 的 ER-2 飞机单次任务仅 6 至 8 小时。
分子之心发布MMDesign平台技术报告,19个设计项目18个获实验确认结合分子,项目成功率94.7%。六个GPCR靶点全部成功命中,最优亲和力达纳摩尔级;自研结构预测模型MMFold在FoldBench上高精度预测成功率约为AlphaFold 3两倍。报告链接 https://zenodo.org/records/23321531 ,系MMDesign半年内第三次迭代。
逐际动力发布 FluxVLA Engine V2 技术报告,新增在线强化学习后训练,优化后模型推理频率提升 2.31 至 9.64 倍。该底座打通训、评、部署全链路,在 LimX Oli 等真机平台验证了闭环执行,并支持人在环数据回流。自今年 4 月开源以来,该项目持续迭代以解决具身智能工程复用难题。
逐际动力更新开源工程底座 FluxVLA Engine V2 技术报告,新增在线强化学习后训练及真机部署验证。优化后模型推理频率提升 2.31–9.64 倍,SmolVLA 在 LIBERO-10 任务成功率提升 10.0 个百分点。该底座自今年 4 月开源以来持续迭代,旨在通过标准化工程链路解决具身智能研发中重复造轮子的问题。
Surge AI 的 DAYJOB: Tax 基准在50个专业税务任务上评测 AI 智能体,覆盖八个领域并包含1789份工作区文件。领先模型 Claude Sonnet 5.5 在95%阈值下通过率仅10.8%,该基准延伸自此前的 Healthcare 与 Finance 评测。
Artificial Analysis 昨日发布 Intelligence Index v5,六成评测权重改为私有测试集或隐藏答案,并纳入 FrontierCode 2.0 以代码可合并性打分。
Artificial Analysis 更新 Intelligence Index,Kimi K3.1 Pro 从第四降至第九,开放与封闭模型差距从3分扩至12分。新指数首次60%采用私有测试集防 benchmaxxing,Grok 4.7 同样跌12分。研究员 Nathan Lambert 认为差距也源于 RL 基础设施差异,且旧指数或高估了部分模型。
Google Research 提出 sleep 框架,通过交替主动交互与离线记忆整合使 LLM 持续学习新事实且不灾难性遗忘。该框架利用 MoE 参数扩展与知识蒸馏将短期上下文固化为长期参数,在 BABILong 基准上实现 10M tokens 长上下文近完美缩放,并在 AIME 24/25 与 HMMT 25 推理任务取得 79.2%、69.0%、46.1% 精度,优于 SFT 等基线。
Ai2 发布研究 Old Ideas, Novel Problems 与评测基准、数据及代码,测试大语言模型判断科研想法新颖性的可靠性,发现提示词微调可使同一模型准确率波动超 50 个百分点。测试涵盖 GPT-5.1、Claude Opus 4.6 等六模型,且检索与额外推理未稳定提升判断,专用评估系统成本更高却弱于简单提示基线。该基准与流水线已开放,可应用于新审稿与其他科学社区。
推荐理由:该研究发布新颖性判断基准与开源流水线,可供研究者量化自动科学发现流程里原创性评估的不稳定性与影响因素。
OpenAI 发布了关于 Kakeya 猜想、指数时间假设(ETH)及量子色动力学(QCD)的模型研究结果。文章同时阐述了研究人员如何验证这些结果并在此基础上进行后续构建。