AWS 发布多节点 Ray LLM 深度学习容器以支持分布式推理
AWS 推出多节点 Ray LLM 深度学习容器,支持在 Amazon EKS 上通过分离 prefill 和 decode 节点部署大语言模型。该容器预集成 vLLM、NIXL 和 EFA 技术栈,提供 OpenAI 兼容 API,无需编写应用代码即可实现高性能推理。此前 AWS 仅发布了单节点 Ray Serve DLC,此次更新将预构建容器方案扩展至多节点分布式场景。
AWS 推出多节点 Ray LLM 深度学习容器,支持在 Amazon EKS 上通过分离 prefill 和 decode 节点部署大语言模型。该容器预集成 vLLM、NIXL 和 EFA 技术栈,提供 OpenAI 兼容 API,无需编写应用代码即可实现高性能推理。此前 AWS 仅发布了单节点 Ray Serve DLC,此次更新将预构建容器方案扩展至多节点分布式场景。
AWS 于 2026 年 9 月更新 Amazon Bedrock、AgentCore 及 Strands,新增 OpenAI GPT-6 Astra 等模型支持及开源 Agent 工具。
Nemotron 3 经 SFT 与 RL 微调后在 IOI 2026 和 IMO 2026 均超过金牌阈值。IOI 2026 中 Nemotron-3-Ultra-CC 获 535.4/600,IMO 2026 系统得 30/42,模型、数据集与 NeMo-Skills 推理管线已在 Hugging Face 开放。
推荐理由:原文给出了从 Nemotron 3 通过 SFT、RL 与推理循环微调至竞赛金牌水平的复用配方,读者可参照适配其他专业领域。
OpenAI 发布了内部前沿模型在数学开放问题上的新结果,并在 GitHub 分享 Lean 证明形式化与研究细节。
推荐理由:OpenAI 公开前沿模型在数学开放问题的新结果,并放出 Lean 证明形式化与 GitHub 研究细节,便于学界验证进展。
Microsoft Research 研究员 Jennifer Neville 在播客中探讨 AI 系统评估如何推动性能边界,并分析模型在超越传统基准测试时出现的“意外失败”。她指出,当结果违背预期时,深入审视数据至关重要,并分享了与当前 AI 系统协作的实用指南。这一讨论旨在从人类或人工智能路径未如预期展开的经历中汲取教训,以预测 AI 未来的发展方向。
Mistral 发布 Mistral Large 4 公开预览版,这是一款 1 trillion-parameter 原生多模态开放权重模型,预览 API 已上线、权重月底发布。它在编码、智能体与多模态理解上超越欧美开放权重模型,并支持企业自主部署于网安等敏感领域。此为 Mistral 获 €3 billion Series D 后首个里程碑。
推荐理由:Mistral Large 4 开放权重预览已上线,企业能在欧洲自建设施部署前沿多模态模型,降低对第三方API与内容审查的依赖。
OpenAI 发布 GPT-6 模型族指南,指导初创企业选择模型、调整推理力度并优化提示词与技能。该指南还涵盖工具协调及生产工作流准备,旨在帮助开发者高效部署 GPT-6 系列模型。
字节 Seed2.1 模型发布,在 KINA、SuperGPQA 等知识基准及 SWE-Atlas、Terminal Bench 2.1 等代码与智能体任务中取得高分。该模型在 MathVision、MMMU-Pro 等多模态推理及 VideoMME 长视频理解测试中表现优异,展现了其在复杂场景下的综合能力。
月之暗面(Kimi)发布开源思考模型 K2 Thinking,作为思考智能体在 HLE(44.9% with tools)、BrowseComp(60.2%)等基准达到 SOTA,支持 200–300 步连续工具调用。模型已在 kimi.ai 聊天模式上线并开放 API,原生 INT4 推理带来约 2 倍生成加速。这是其通过扩展思考 token 与工具步骤进行测试时缩放的最新尝试。
推荐理由:Kimi K2 Thinking 以开源权重实现 HLE 44.9% 等得分,读者可据此对比闭源前沿模型思考与代理能力差距及适用场景。
DeepSeek 发布实验性模型 DeepSeek-V3.2-Exp,在 V3.1-Terminus 基础上引入 DeepSeek Sparse Attention 稀疏注意力机制,针对长文本训练和推理效率做优化,在公开评测集上表现与 V3.1-Terminus 基本持平。
推荐理由:稀疏注意力在公开评测表现基本持平的前提下降低长文本推理成本,API 价格随之下降五成以上。
DeepSeek 同时发布 DeepSeek-V3.2 和 DeepSeek-V3.2-Speciale 两个正式版模型,网页端、App 和 API 已由 DeepSeek-V3.2-Exp 升级为正式版 V3.2。
推荐理由:DeepSeek 同时发布 V3.2 与 V3.2-Speciale 两个正式版模型,并把思考模式接入工具调用,读者可据此比较开源与闭源模型在 Agent 评测上的差距。
DeepSeek 上线并开源全新系列模型 DeepSeek-V4 预览版,分为 DeepSeek-V4-Pro 与 DeepSeek-V4-Flash 两个版本,均支持 1M 上下文和思考模式。
推荐理由:官方给出 V4 两个版本的参数、上下文与各项评测位次,可据此判断开源模型在 Agent 与推理上的当前位置。
GPT-6 Astra Ultrafast 现已在 OpenAI API 及符合条件的 ChatGPT Work 与 Codex 用户中可用,基于 NVIDIA Blackwell GPU 推理优化,token 生成速度较 Astra Standard 模式最高提升 8 倍。
推荐理由:GPT-6 Astra Ultrafast 在 Blackwell 上比标准模式快最多8倍,可缩短编码智能体在工具调用间的等待,提升交互流畅度。
GPT-6.1 Sol 现已在 Amazon Bedrock 正式可用,为编码、计算机使用和专业工作负载提供更强推理能力。OpenAI 表示该模型在 DeepSWE v1.1 上性能匹配 GPT-6 Astra,但单任务成本约为其五分之一,且比 GPT-6 Sol 最佳成绩高 6.4 个百分点。
推荐理由:GPT-6.1 Sol 在 Amazon Bedrock 正式可用,以约五分之一成本实现接近 GPT-6 Astra 的推理能力,降低智能体工作流成本。
NVIDIA 在 MLPerf Inference v6.1 首次提交 Vera Rubin NVL72 预览成绩,在 Qwen3-VL 上吞吐最高达 GB300 NVL72 的 3.7 倍,在 DeepSeek-R1 上最高 2.5 倍。
推荐理由:MLPerf v6.1 首次提交数据给出 Vera Rubin 相对 GB300 的吞吐倍数与 99% 扩展效率,可据此判断推理成本走向。
Google Research 在 ICML 2026 论文中提出 Retrieve-for-Train 框架,通过离线强化学习将查询分解行为编译至 53.9M 参数的扩散模型,实现单次非自回归推理。该方案利用 Gemma3-4B 和 Qwen3-4B 进行监督合成,消除了推理时的思维 token 开销,解决了传统 LLM 在集合级搜索中的延迟瓶颈。
Google DeepMind 发布 Gemini 3.8 Live 和 3.8 Live Extended Thinking,旨在提升实时语音对话的智能与并行推理能力。
推荐理由:原文给出了两款实时语音模型在推理与工具调用上的具体基准表现,读者可据此评估其在生产级语音智能体中的适用性。
IBM Granite 团队发布 Granite 4.2,这是其首个稠密、decoder-only 的推理模型家族,包含 3B、8B、30B 三个尺寸,均以 Apache 2.0 许可开源。
推荐理由:IBM 公开了 Granite 4.2 从预训练到多阶段 RL 的完整构建流程,可对照其分阶段课程与奖励设计理解推理模型如何训练。
Multiverse Computing 发布论文《Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs》,提出 QAH 方法:对结构压缩并量化的模型,直接从压缩前的原始全精度模型蒸馏,而非从恢复出的 bfloat16 checkpoint 蒸馏。
推荐理由:论文给出压缩加量化后从原始教师蒸馏的恢复配方,并附与 QAT 的稳定性对比数据。
Liquid AI 为 LFM2.5 家族的 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 发布 DSpark 草稿模型检查点,通过投机解码在不改变输出质量的前提下提升解码速度,GPU 上吞吐最高提升 3.18 倍,端侧最高 2.87 倍。
推荐理由:官方给出三个模型在 H100 与 MacBook 上的实测加速比和调用方式,可据此判断端侧推理的可用性。
DeepSeek 在 API 平台发布实验性多模态视觉理解模型 DeepSeek-V4-Flash-Vision-Exp。其纯文本能力与 DeepSeek-V4-Flash 持平,在需视觉理解的 agent 基准上显著跃升,多模态 agent 能力接近 Opus-4.8。调用需设置 model='deepseek-v4-flash-vision-exp'。
推荐理由:DeepSeek 正式发布实验性多模态视觉理解模型 DeepSeek-V4-Flash-Vision-Exp,该模型在需视觉理解的 agent 基准上较同族文本模型大幅跃升,多模态 agent 能力接近 Opus-4.8。
微软研究院推出 MindTopo 基准,用于评估多模态大语言模型在连通性、封闭、顺序、分离和绳结等拓扑关系上的推理与规划能力。测试显示,当前模型在静态图像识别上表现明显优于交互式规划任务,失败多发生在规划阶段而非感知阶段,模型难以在场景变化中持续保持对拓扑结构的理解。图像与视频生成工具在维持拓扑关系上同样不可靠。
ABBEL 框架将摘要重构为自然语言信念状态,并引入信念评分机制以监督信息保留。在 CollabBench 协作编码任务中,该方法将模型与全上下文模型的性能差距缩小约 50%,且训练步数减少 50%。
在 AppWorld Test Challenge 的 417 个任务上,同一 CodeAct 智能体下 Claude Sonnet 4.6 总成本 79 美元(0.19 美元/任务),GPT-4.1 却要 155 美元(0.37 美元/任务),原因是缓存命中率让实际成本偏离标价。
Thinking Machines 在 Hugging Face 发布 Inkling,一个约 1T 参数、支持 1M 上下文并原生接收图像、文本和音频输入的开源多模态 MoE 模型,同时推出 276B 总参数、12B 激活参数的 Inkling-Small。
推荐理由:原文给出 Inkling 的架构细节、部署配置与基准对比,读者可据此判断这一开源多模态模型的落地门槛。
Hugging Face 博客发布《Profiling in PyTorch》系列第三部分,用 PyTorch 剖析 attention 的朴素实现、原地操作、SDPA 与手写 kernel 四种写法在 profiler 下的差异。
Mistral 发布 Leanstral 1.5,一个 Apache-2.0 许可、119B 总参数 6B 激活参数的形式化验证模型,在 miniF2F 上达到 100%,解出 PutnamBench 672 题中的 587 题,并在 FATE-H 取得 87%、FATE-X 取得 34%。
推荐理由:原文给出 Leanstral 1.5 在形式化验证基准上的具体成绩与每道题成本对比,读者可据此判断开源证明模型的性价比。
伯克利人工智能研究实验室(BAIR)展示其 2026 届博士毕业生的研究成果,涵盖机器人、大语言模型推理、计算机视觉及 AI 安全等领域。毕业生去向包括 OpenAI、Physical Intelligence、Mistral AI 等机构,以及普林斯顿大学、UCLA 等高校教职。
Google Research 发布一种新架构,把多 Token 预测(MTP)头接到已冻结的 Gemini Nano v3 模型上,在不改动主干权重的前提下加速端侧推理。
推荐理由:Google 把 MTP 头接到冻结的 Gemini Nano v3 上,给出端侧推理在内存与能耗约束下的具体优化路径。
Google Research 在 COLM 2026 论文《Thinking to Recall》中发现,开启推理能让 Gemini-2.5(Flash、Pro)和 Qwen3-32B 在 SimpleQA Verified、EntityQuestions 上答出关闭推理时几乎无法召回的事实。
Google DeepMind 发布实验性开源模型 DiffusionGemma,采用文本扩散方式并行生成整块文本,在专用 GPU 上最高实现 4 倍推理加速,单张 NVIDIA H100 上超过 1000 tokens/秒、RTX 5090 上超过 700 tokens/秒。
推荐理由:官方给出 4x 加速的实测数字与硬件门槛,读者可据此判断本地低并发场景是否值得换用扩散式生成。
Google DeepMind 发布 Gemma 4 12B,一款面向笔记本电脑的智能体多模态模型,介于 E4B 与 26B MoE 之间,是首个支持原生音频输入的中等规模 Gemma 模型。
推荐理由:Gemma 4 12B 去掉多模态编码器并把视觉音频直接接入 LLM,读者可据此判断本地多模态智能体的硬件门槛。
自适应并行推理(Adaptive Parallel Reasoning)允许模型自主决定何时分解子任务、生成并发线程数量及协调方式,以解决顺序推理导致的上下文膨胀与延迟问题。该范式旨在克服现有固定并行结构无法根据问题复杂度动态调整计算资源的局限,实现更高效的大语言模型推理扩展。
GRASP 是一种针对学习动态(世界模型)的基于梯度的规划器,通过提升轨迹至虚拟状态实现时间并行优化,并在状态迭代中引入随机性以增强探索。该方法通过重塑梯度,使动作获得清晰信号,同时避免通过高维视觉模型计算脆弱的“状态输入”梯度,从而解决长时程规划中优化病态及局部极小值问题。
Google Research 提出推理优先的合成数据生成框架 Simula,将数据集生成重构为机制设计问题,通过全局多样化、局部多样化、复杂化和双批评者质量检查四个步骤,独立控制覆盖度、复杂度与质量。
Mistral AI 发布 Mistral Small 4,这是 Mistral Small 系列的下一个重要版本,也是 Mistral 首个把 Magistral 的推理、Pixtral 的多模态和 Devstral 的智能体编码能力统一到单一模型中的模型,采用 Apache 2.0 许可。
推荐理由:Mistral 首次把推理、多模态与编码智能体能力合并进单一开源模型,并给出可切换的推理强度参数。
Berkeley AI Research 提出 SPEX 和 ProxySPEX 算法,利用稀疏性和低阶性在大规模下识别 LLM 的关键交互。ProxySPEX 利用层级结构特性,在保持性能的同时将所需的消融次数减少约 10 倍。SPEX 在特征归因任务中,当上下文扩展至数千个特征时,仍能保持与 Faith-Shap 等现有方法相当的高忠实度。
Berkeley AI Research 提出基于互信息的成像系统设计框架,直接评估并优化系统信息含量。该框架在 NeurIPS 2025 论文中验证了其在四个成像领域预测性能的能力,优化结果匹配 SOTA 方法且无需任务特定解码器。
DeepSeek 官方 API 的 deepseek-chat 和 deepseek-reasoner 均已升级到 DeepSeek-V3.2。deepseek-chat 对应 DeepSeek-V3.2 的非思考模式,deepseek-reasoner 对应思考模式。该更新记录于 DeepSeek API 官方更新日志。
推荐理由:此次版本升级将 DeepSeek 官方的 chat 与 reasoner 接口统一到 V3.2,开发者可按思考与非思考模式选择调用。
Berkeley AI Research 提出一种基于分治(divide and conquer)的强化学习算法,不依赖时序差分(TD)学习,可将 Bellman 递归次数从线性降为对数级,从而扩展到长时程任务。