Import AI 481: AI 外包、AI 湿实验室及开发中的欺骗行为
新基准 FrontierML 显示,前沿 AI 系统能利用资金外包任务以提升自身性能,其中 Opus 5.5 在 $200 预算下得分提升 58.8 分,优于人类研究员的 66.1 分基线。
新基准 FrontierML 显示,前沿 AI 系统能利用资金外包任务以提升自身性能,其中 Opus 5.5 在 $200 预算下得分提升 58.8 分,优于人类研究员的 66.1 分基线。
OpenAI 探索了标准模型的非微扰晶格定义候选方案,并展示了 GPT-6 Astra 如何将这一构想转化为详细证明。该工作旨在利用大语言模型辅助解决高能物理中的复杂理论推导问题。
UniPat AI牵头推出湿实验预测基准SPU,覆盖116任务4207实验,首评12款前沿模型最高平均仅0.486分且超随机比例低。模型配8小时H20自主预测,GPT-6 Astra推理强度成本增5.3倍但得分几乎不变,数据集与代码已开源。
中国科学院合肥物质院团队提出 M³Net 模型,通过模拟医生“先全局、再局部、后细节”的读片逻辑,实现肺结节良恶性辅助诊断。该模型在 LIDC-IDRI 和 USTC-FHLN 数据集上分类准确率优于十二种流行算法,且参数量与运算成本更低。研究结果已发表在 Information Fusion 上,旨在提高肺癌早筛的准确性与可解释性。
Microsoft Research 发布第 98 期研究简报,涵盖 AI 语音翻译进展、31 年未解的 KLS 猜想证明及编码智能体效率优化。针对长会话中上下文压缩导致的高成本问题,新提出的 APEC 方法在评估中降低了 25.4% 的成本和 9.6% 的执行时间。此外,研究还介绍了跨 104 种语言的 Latent Core Tokenizer 技术,旨在提升多语言模型性能。
Hugging Face 提出 HOPE(高阶专家剪枝)方法,通过考虑专家间的成对交互来优化 MoE 模型剪枝。在 50% 剪枝率下,HOPE 在智能体编码任务上比次优剪枝方法平均提升 6.1%。该方法解决了现有独立评分方法忽略专家协作组的问题,无需训练即可降低推理内存占用。
新开源基准 CloudOpsBench 1.0 包含 45 个 AWS 任务,用于评估 AI 智能体处理 DevOps 任务的能力。Claude Fable 5.1 解决率为 60%,GPT-6 Astra 为 53%,但无模型能完成所有任务。约 80% 的失败源于推理错误,如误判任务范围或过早停止,而非知识缺乏。
这本 195 页的修订版预印本提供了现代生成式 AI 数学基础的紧凑推导式介绍。内容涵盖 PCA、变分自编码器、扩散模型、归一化流、自回归分解、GAN 及基于能量的模型,旨在通过连贯路线连接主要生成模型家族。该书定位为面向数学好奇的研究者、从业者及学生的基础构建入门读物。
研究提出“Weight Space Programming”,让 LLM 直接读取和编辑较小模型的权重,实现类似修复 bug 或从零生成网络权重的能力。该发现被视为递归自我改进(RSI)从 0 到 1 的突破,但当前仅适用于简单游戏和 RL 策略。此前 Karpathy 曾展示通过代码编写实现自主训练,而新方法跳过了代码层直接操作底层参数。
StateBench 是一个测试大语言模型长文档状态追踪能力的基准。它设四级难度,评估显示 Gated DeltaNet 与混合架构直接训练后泛化远优于 transformer,而 Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 Luna 在难任务上随输入变长准确率跌至 13% 以下。该基准提供开源数据与代码,助力研究者定位模型缺陷。
斯坦福大学研究者测试50项广泛引用的LLM论断,发现44%已过期,平均寿命仅15.7个月。推理相关发现全部弱化,而谄媚与评估偏好等结论更持久。研究者建议论文标注模型版本与日期并公开提示词和代码,以便未来复测。
北京大学孙仲联合IBM苏黎世研究院及Unconventional AI在Nature旗下期刊发表综述,正式定义“现代模拟计算”体系。该体系基于阻变存储器实现高精度矩阵运算,安纳智芯芯片在FP32精度下吞吐量达英伟达H100的1000倍,能效提升100倍。此前孙仲团队已于2025年攻克模拟计算精度瓶颈,此次旨在统一该领域核心定义。
MIT CSAIL提出权重空间编程,让GPT-6 Astra修改千问(Qwen3.5-0.8B)0.016%权重,使MATH-500成绩从7.9%提升至48.1%。该方法定位并削弱模型推理循环信号,将耗尽Token限制的比例从93%降至33.1%,为模型优化提供新思路。
清华大学姚期智与袁洋团队提出代数世界模型(AWM),通过形式化证明让AI从现象记录转向规律推导。在ARC-AGI-3上基于Opus 5的AWM通关183关得分99.9%,平均动作数为人类基准43%,且可证明无解关卡。论文发布于arXiv,共同第一作者为两名本科生。
谷歌研究团队公开睡眠框架论文,提出让大模型借睡眠阶段巩固记忆以缓解灾难性遗忘。该框架可处理最长约1000万token上下文,并在AIME 24/25等数学基准取得更高准确率。论文题为《Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories》。
Google Research 提出 sleep 框架,通过交替主动交互与离线记忆整合使 LLM 持续学习新事实且不灾难性遗忘。该框架利用 MoE 参数扩展与知识蒸馏将短期上下文固化为长期参数,在 BABILong 基准上实现 10M tokens 长上下文近完美缩放,并在 AIME 24/25 与 HMMT 25 推理任务取得 79.2%、69.0%、46.1% 精度,优于 SFT 等基线。
OpenAI 发布了关于 Kakeya 猜想、指数时间假设(ETH)及量子色动力学(QCD)的模型研究结果。文章同时阐述了研究人员如何验证这些结果并在此基础上进行后续构建。
Liu与Han的研究对比Claude Code、OpenCode和mini-SWE-agent三种代码智能体框架在SWE-bench Verified上的表现,发现性能差距多在噪声内但成本最高差三倍。仅OpenCode在大型任务池上落后最多9点,因其输出限制等问题。研究者建议每次harness对比都附相同设置重跑以区分噪声。
Microsoft 与 Hugging Face 联合发布 ThinkingBox-Training,将数据库终态的可执行检查转化为强化学习奖励。使用该方法对 Qwen3.8-27B 进行 50 步 GRPO 微调后,其在 ThinkingBox-Bench 上的平均成功率从 51.70% 提升至 60.78%,且 20 次尝试全部正确的任务数从 38 增至 107。
Ai2 发布 FairStress 基准,用于衡量大语言模型在影响人的决策中超越最终选择的群体公平性。该基准包含 300 个双候选决策场景,结合对抗前缀扩展至超过 13 million 测试案例,实验显示模型受挑战时放弃正确决策存在群体不对称,这是 Ai2 开放评估工作的一部分。
推荐理由:该基准通过引入对抗前缀与身份变量测试决策稳定性,揭示标准公平性评测忽略的隐藏不对称,为干预提供新评估工具。
上海人工智能实验室团队依托书生-S2多模态大模型通过人机协同完成三维Ghys猜想证明,破解困扰数学界30余年的难题。北京大学团队用SHEAF框架形式化验证该证明,论文发于arXiv,代码在GitHub公开。团队计划将推理能力封装为端砚平台复用模块,形成自进化飞轮。
Microsoft Research 推出 StudentSim 系统,利用去标识化公开数据训练个性化 AI 学生模拟器,以在真实测试前评估 AI 辅导效果。该系统通过 StudentSimEval 基准在数学、英语写作和棋类任务中表现优于现有基线,提供了有效的训练反馈信号。此举旨在解决人工学生研究成本高、周期长的问题,加速 AI 辅导系统的研发迭代。
新基准 Humanity’s Sixth Sense 显示 GPT 6 Astra 在直观视觉推理上 pass@1 仅 53.6,远低于人类基线 93.1。该基准包含 522 个问题,旨在测试模型对视觉场景隐含信息的推理能力。此前业界普遍认为此类任务需依赖复杂的 3D 世界模型,而当前 LLM 的表现对此观点构成挑战。
Google DeepMind 的 AlphaProof Nexus 基于 Gemini 3.1 Pro 在 Lean 中起草并验证证明,解决数十个开放数学问题并通过 Science 同行评审。
推荐理由:在AI数学证明陷入期刊提交争议的背景下,该研究经同行评审确认了基于Gemini 3.1 Pro的形式化证明路线,为同类工作提供可比照案例。
何恺明团队在论文中提出视觉原生Harness框架VISTA,让现有多模态模型无需训练即可保存并回看原始画面参与推理。在ARC-AGI-3中,VISTA使Claude Opus 5.0完成全部25个公开游戏获满分100,GPT-5.6 Sol得分99,并在GameWorld等基准提升成功率。该框架包含视觉观测、无损视觉记忆与主动视觉检查组件,后续将验证具身任务。
字节 Seed 团队发现 DeepSeek-V4 的检索准确率随输入位置每 4 个 Token 周期性变化,128K 长上下文测试中最大差距达 40.2 个百分点。研究证实该现象源于分块 KV Cache 压缩技术导致的“相位敏感性”,不同压缩步长对应不同波动周期。尽管后训练能缩小差距,但团队指出常规 Benchmark 难以检测此类位置偏差,需针对特定相位进行专项评估。
AI 辅助完成的 11 个正方形最优填充证明已通过 Lean 4.34.1 验证,最终审计显示零接纳(zero admissions)。该证明包含 7,920 个本地 Lean 模块,采用原生数值证书检查,最优边长约为 3.8770835900228141773。
字节 Seed 团队在 arXiv 发表论文,指出分块 KV 缓存压缩引入的“相位敏感性”是 DeepSeek 长上下文性能漂移的原因。该研究评估了 DeepSeek-V4-Flash 等模型,发现长上下文检索准确度在不同相位间可能相差高达 40 个百分点,揭示了平均基准分数掩盖的周期性弱点。
UniPat AI 发布多学科端到端论文复现基准 PaperBenchX,表现最强的 GPT-6 Astra 在 93 个任务中完整复现率仅为 13.98%。该基准覆盖 12 个研究方向,要求 Agent 在隔离环境中重跑工作流以验证科学证据,目前团队已开源 12 个代表性测试任务。
PhAI Labs 团队基于 Yann LeCun 的 JEPA 架构开发了 JEPA-Anything,该模型在物理、机器人和气象等七个领域的动态系统预测中表现优于标准 JEPA,在简化 Pong 环境中预测误差降低 35%。
本地部署的 Qwen3.8-27B 模型在禁用推理模式下,纯文字加法数值准确率仅为 23.57%,且随操作数位数增加性能从 97.04% 骤降至 6.44%。启用推理模式后,该模型在 169 个测试用例中正确回答 167 次。该实验旨在复现并对比 GPT-4o 此前在同类任务中的表现。
何恺明团队论文提出 NAT-ARC 纯视觉 ARC 解题方案,用 ImageNet 预训练编码器使集成模型在 ARC-1 达到 70.2% pass@2。该方案不依赖 LLM,以约 2B 参数量逼近专用 8B 语言模型 71.6% 的成绩,并借预训练打通视觉路线 scaling 瓶颈。
Google Research 在 ICML 2026 论文中提出 Retrieve-for-Train 框架,通过离线强化学习将查询分解行为编译至 53.9M 参数的扩散模型,实现单次非自回归推理。该方案利用 Gemma3-4B 和 Qwen3-4B 进行监督合成,消除了推理时的思维 token 开销,解决了传统 LLM 在集合级搜索中的延迟瓶颈。
Multiverse Computing 发布论文《Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs》,提出 QAH 方法:对结构压缩并量化的模型,直接从压缩前的原始全精度模型蒸馏,而非从恢复出的 bfloat16 checkpoint 蒸馏。
推荐理由:论文给出压缩加量化后从原始教师蒸馏的恢复配方,并附与 QAT 的稳定性对比数据。
METR 研究显示 AI 在网络安全领域加速显著,数学研究加速轻微,AI 研究优化无可测加速。多所高校团队发布 SPADE 框架,通过自博弈生成合成可执行环境,在 30B 规模下使 Qwen3 模型在 AIME 等基准上性能提升 8.1 分。
新基准 DiG-bench 通过 70 个隐藏规则的游戏测试 AI 的探索与发现能力,结果显示 Opus 5 和 Fable 5 表现最佳,但前沿模型在 Tier 7 难度上仍远落后于人类。
微软研究院推出 MindTopo 基准,用于评估多模态大语言模型在连通性、封闭、顺序、分离和绳结等拓扑关系上的推理与规划能力。测试显示,当前模型在静态图像识别上表现明显优于交互式规划任务,失败多发生在规划阶段而非感知阶段,模型难以在场景变化中持续保持对拓扑结构的理解。图像与视频生成工具在维持拓扑关系上同样不可靠。
ABBEL 框架将摘要重构为自然语言信念状态,并引入信念评分机制以监督信息保留。在 CollabBench 协作编码任务中,该方法将模型与全上下文模型的性能差距缩小约 50%,且训练步数减少 50%。
Anthropic 利用 J-lens 发现 Claude 内部存在名为 J-space 的私有工作区,其功能机制与人类意识的全局工作区理论高度相似。该空间仅占模型活动不到 10%,负责存储中间推理步骤,移除后会导致多步推理能力显著下降,但基础语言任务不受影响。这一发现为模型内部存在可检查的功能性访问机制提供了证据,但并未证明 Claude 拥有主观感受或意识。
Google Research 在 COLM 2026 论文《Thinking to Recall》中发现,开启推理能让 Gemini-2.5(Flash、Pro)和 Qwen3-32B 在 SimpleQA Verified、EntityQuestions 上答出关闭推理时几乎无法召回的事实。