Amazon SageMaker AI 实时端点现支持 KV cache 感知路由
Amazon SageMaker AI 实时端点新增 KV cache-aware routing 策略,按容器报告的缓存状态选择实例。它用托管缓存索引按 token 匹配最长缓存并权衡负载,无有效匹配或匹配实例都繁忙时回退到 load-aware routing。
Amazon SageMaker AI 实时端点新增 KV cache-aware routing 策略,按容器报告的缓存状态选择实例。它用托管缓存索引按 token 匹配最长缓存并权衡负载,无有效匹配或匹配实例都繁忙时回退到 load-aware routing。
ArisGlobal 在 Amazon Bedrock 上通过前置并缓存共享提示词前缀,在不让成本按比例增长的情况下扩展多租户生成式 AI 推理。实现使用 Anthropic Claude Sonnet 4.5,此前共享前缀 6 个月增长约 150%,每案例推理成本增加超过 200%;调整后典型请求 65% 的输入 token 由缓存提供。
推荐理由:原文用生产指标说明调整缓存对象能降低输入成本,并提供多租户场景下可迁移的请求排序和缓存监控经验。
Hugging Face 将 Inference Providers 的语言模型请求切换到 OpenRouter,用户可用同一 Hugging Face token 和 API 调用 Hub 上由服务商承载的开放权重模型。
推荐理由:文章把语言模型请求的路由变化、可观测入口和自定义密钥限制放在一起,读者可据此判断现有工作流需要怎样调整。
NVIDIA Vera Rubin 平台在 MLPerf Training v6.1 中横扫全部基准,并在 MLPerf Endpoints 智能体推理测试中领先。
OpenAI 探索了标准模型的非微扰晶格定义候选方案,并展示了 GPT-6 Astra 如何将这一构想转化为详细证明。该工作旨在利用大语言模型辅助解决高能物理中的复杂理论推导问题。
Google 面向外部研究者和开发者开放 Antigravity 中的 /teamwork 与 /boost 多智能体工具,支持结合 Gemini 4 模型开展长程科学证明与工程任务。
推荐理由:这些多智能体工具向外部开放,研究者可借 Gemini 4 与验证环路自行开展大规模证明与工程任务。
Microsoft Research 发布第 98 期研究简报,涵盖 AI 语音翻译进展、31 年未解的 KLS 猜想证明及编码智能体效率优化。针对长会话中上下文压缩导致的高成本问题,新提出的 APEC 方法在评估中降低了 25.4% 的成本和 9.6% 的执行时间。此外,研究还介绍了跨 104 种语言的 Latent Core Tokenizer 技术,旨在提升多语言模型性能。
Google DeepMind 今日发布 Gemini 4 Hydrogen 模型,面向 Google AI Studio、Gemini API、Gemini app、Search 等全员开放,默认高思考层级在 Artificial Analysis Intelligence Index 获 51 分超越 Argon 的 50 分。
推荐理由:Gemini 4 Hydrogen以统一价格和四档思考层级面向全员开放,开发团队可据此权衡不同智能体任务的成本与延迟。
月之暗面 Kimi K3.1 Pro Highspeed 现已在 Amazon Bedrock 上线,该模型基于 Kimi K3 后训练,拥有 3T 级开源权重架构和 100 万 token 上下文窗口。其输出速度比 Kimi K3.1 Pro 快 2-3 倍,支持工具调用、结构化输出及可配置推理,并可通过 Flex 层级以半价降低成本。
Google DeepMind 今日开放 Gemini 4 Carbon 模型,提供前沿网络安全与长程代理工作流能力。该模型在 CursorBench 4.0、WANDR 等基准排名第一且任务成本低于次优外部模型一半以上,通过 AI Studio API 以与 Gemini 4 Argon 相同价格($2/$10 per M tokens)开放。
推荐理由:Gemini 4 Carbon定价与Gemini 4 Argon一致,但面向更复杂编程与科研任务,开发者可对比二者选型。
今日,AWS 宣布在 Amazon Bedrock 和 Claude Platform on AWS 上提供 Claude Fable 5.2 与 Claude Mythos 5.2 模型可用。
推荐理由:本文介绍Claude Fable 5.2在Bedrock上的可用性与拒绝重试缓存计费方式,并给出迁移技能,便于开发者降本和升级。
Hugging Face 提出 HOPE(高阶专家剪枝)方法,通过考虑专家间的成对交互来优化 MoE 模型剪枝。在 50% 剪枝率下,HOPE 在智能体编码任务上比次优剪枝方法平均提升 6.1%。该方法解决了现有独立评分方法忽略专家协作组的问题,无需训练即可降低推理内存占用。
Amazon SageMaker Inference 现支持 NVIDIA MIG GPU 分区,可将单物理 GPU 划分为多个隔离分区部署模型端点。该功能允许在单卡上放置不同模型并选择分数卡大小,实测 H100 的 mig-3g.40gb 分区相较整卡 A100 吞吐高 53% 至 89% 且每百万输出 token 成本低 18% 至 34%。
AI2 发布 ToyBlocks 受控机器人学习评估模拟框架,开源模拟资产、自动化演示生成器与 85,336 条长程演示数据。该框架支持隔离高低层失败原因并测试 VLA 空间泛化,真实 FR3 机械臂零样本堆叠成功率为 50%。此为 FoundationWorlds 首个环境,几周后计划发布更大数据集与 RL 训练能力。
NVIDIA 通过全栈协同设计优化 GPU、CPU 及存储层级,以解决 AI 内存瓶颈。从 Blackwell Ultra 到 Vera Rubin 平台,HBM 容量每 GPU 仅增约 3%,但 SemiAnalysis AgentX 上的智能体吞吐量每美元提升高达 30 倍。此前 NVIDIA 率先将 HBM3e 和 HBM4 技术引入加速计算栈。
Mistral 今日扩展企业AI平台 Mistral Studio,新增托管智能体、工作流与应用,支持在云、VPC或本地部署。平台通过 MCP 服务器连接企业数据,已有 ABANCA、BNP Paribas 等客户用于生产环境自动化任务。
StateBench 是一个测试大语言模型长文档状态追踪能力的基准。它设四级难度,评估显示 Gated DeltaNet 与混合架构直接训练后泛化远优于 transformer,而 Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 Luna 在难任务上随输入变长准确率跌至 13% 以下。该基准提供开源数据与代码,助力研究者定位模型缺陷。
Mistral 今日发布改进版 Mistral Large 4 (Le Chonk) 开放权重,该万亿参数多模态模型在编码与防御安全开放基准中领先同类。模型提供低中高三种推理模式平衡成本,在 Artificial Analysis Coding Agent Index 取得 48% 且少耗 47% token。权重已发布于 Hugging Face 支持自托管,本月初曾公开预览。
Google DeepMind 发布 Gemini 4 Carbon 前沿模型,这是其当前最强模型,在网络安全与长程智能体任务上达到 SOTA。模型在 SEC-bench Pro 获 88.2%、ExploitGym 54.8%、CWE-bench 71.0%,定价与 Argon 相同为每百万输入 token $2、输出 $10,本周起向部分网络防御者开放。
推荐理由:相较两周前发布的 Argon,Carbon 在网络安全与对齐基准上显著提升,读者可关注其通过 Fairwind 计划逐步开放的节奏。
Google Research 提出 sleep 框架,通过交替主动交互与离线记忆整合使 LLM 持续学习新事实且不灾难性遗忘。该框架利用 MoE 参数扩展与知识蒸馏将短期上下文固化为长期参数,在 BABILong 基准上实现 10M tokens 长上下文近完美缩放,并在 AIME 24/25 与 HMMT 25 推理任务取得 79.2%、69.0%、46.1% 精度,优于 SFT 等基线。
OpenAI 发布了关于 Kakeya 猜想、指数时间假设(ETH)及量子色动力学(QCD)的模型研究结果。文章同时阐述了研究人员如何验证这些结果并在此基础上进行后续构建。
AWS 官方博客发布在 Amazon SageMaker AI 上实践多轮强化学习(MTRL)训练智能体的动手指南,以 Wordle 展示从部署到评估的端到端流程。实验将 gpt-oss-20b 在保留词上的解决率从 61% 提升至 84%,训练 token 费用约 $339。教程指出同一管道适用于公开模型未训练过的内部多步任务。
Microsoft 与 Hugging Face 联合发布 ThinkingBox-Training,将数据库终态的可执行检查转化为强化学习奖励。使用该方法对 Qwen3.8-27B 进行 50 步 GRPO 微调后,其在 ThinkingBox-Bench 上的平均成功率从 51.70% 提升至 60.78%,且 20 次尝试全部正确的任务数从 38 增至 107。
AWS 推出基于 Strands Agents 的自适应智能体框架 AAIF,通过本地小语言模型处理常规任务,复杂请求路由至 Amazon Bedrock。该架构使用 llama3.2:1b 作为编排器,支持在 Raspberry Pi 等边缘设备上运行,旨在降低 API 成本并减少延迟。
NVIDIA 发布 Kumo Forecast,该模型基于 MOMENT-1-large 骨干,结合预训练 Transformer 与 DARR 历史模式检索。模型包含约 3.4 亿参数的基础编码器,提供 DataFrame API 及可解释性框架,并以 Apache 2.0 协议开源。
Mistral 与 NVIDIA 合作开发 AI 原生工程工作流,结合 Mistral Large 4 与 NVIDIA 加速计算及物理建模工具,旨在加速工程仿真并实现闭环设计。
NVIDIA 发布 Nemotron 3.5、Kumo、Cosmos 3.5 等多款开放模型推进欧洲跨行业主权智能,覆盖语言、机器人与量子等领域。企业可用本地数据定制并部署在自有设施,模型已在 Hugging Face 等平台提供。此为 NVIDIA 欧洲公告的一部分。
推荐理由:NVIDIA发布一系列覆盖语言机器人生物量子等领域的开放模型,企业可用本地数据定制并部署在自有基础设施上。
i14 利用 TorchNeuron Native 在 AWS Trainium2 上训练和部署 Laplace 3B 线性注意力模型,其递归状态固定为 29.5 MB,不随上下文长度增长。
AWS 团队在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B,使多语言推理语言正确率从 22% 升至 100%。SFT 教会模型按指令用目标语言推理,叠加 GRPO 后将答案语言正确率从 62% 提升至 70%。对照 Qwen2.5-7B 实验显示 GRPO 仅在存在能力缺口时带来增益,GSM8K 上无提升。
Ai2 发布 FairStress 基准,用于衡量大语言模型在影响人的决策中超越最终选择的群体公平性。该基准包含 300 个双候选决策场景,结合对抗前缀扩展至超过 13 million 测试案例,实验显示模型受挑战时放弃正确决策存在群体不对称,这是 Ai2 开放评估工作的一部分。
推荐理由:该基准通过引入对抗前缀与身份变量测试决策稳定性,揭示标准公平性评测忽略的隐藏不对称,为干预提供新评估工具。
vLLM 引入双向 KV 传输机制,允许 Decode 节点将已计算的 KV 缓存回传至 Prefill 节点,避免多轮对话中重复计算上下文。在 Amazon EC2 P5en 实例的基准测试中,该功能使 Qwen3-32B 的 TTFT 降低最高 1.6 倍,zai-org/GLM-5-FP8 降低最高 3.3 倍。
Reflection 发布 501B 参数的开放模型 Beam,采用 MoE 架构,每 token 激活 23B 参数,上下文窗口 1M tokens,基于 Apache 2.0 许可。
推荐理由:Beam 以 Apache 2.0 开放 501B MoE 权重并给出多后端部署与微调 recipe,便于团队迁移到自有硬件。
Apertus 项目发布 1.5 版 8B 和 70B 开源模型,新增图像音频理解、思考模式、262,144 token 上下文及更强工具调用。模型权重于2026年7月24日以 Apache 2.0 许可发布在 Hugging Face,全程开放训练数据与细节。
推荐理由:Apertus 1.5以早期融合将图像音频转为离散token,训练细节全开放,研究者可复现各阶段对多模态能力影响。
Google DeepMind 介绍了 Gemini 4 Argon 的负责任安全开发措施,该模型今日开始广泛推出并扩展 Fairwind Program。其安全防御涵盖误用预防、实时错位监控与提示词注入抵抗,端到端网络攻击模拟解决12个场景,IPI基准攻击成功率降至0.7%。这些是 Google 前沿模型能力落地构建的多层防护实践。
推荐理由:原文给出了Gemini 4 Argon在误用与错位监控上的具体防御方案,读者可了解前沿模型安全部署的实操路径。
LFM2.5-24B-A2B发布,一个24B参数MoE推理模型,仅2B活跃参数,专为端侧快速私有智能体设计。该模型在LiveClaw智能体基准得分48.09,高于Qwen3.6-35B-A3B的38.19,并在Apple M5 Max上实现184 tok/s解码速度。它基于LFM2-24B-A2B架构,将上下文窗口从32K扩展至131K tokens,今日起在Hugging Face开放权重。
推荐理由:该24B参数MoE模型仅2B活跃参数,在智能体任务上接近参数多50%的Qwen3.6-35B-A3B,并支持端侧184 tok/s运行。
AWS教程在Amazon Bedrock上用Grok 4.7构建长周期工具调用智能体,三个搜索任务72次运行答对67次。xhigh级别18次全对,low级别以约八分之一输出token答对15/18,文章给出了按请求设置推理努力与监控token用量的实践方法。
推荐理由:原文给出了在Amazon Bedrock上构建Grok 4.7工具调用智能体并评测推理努力级别的方法,读者可迁移到自有任务做成本与质量调优。
Google DeepMind 发布 Gemini 4 Argon 前沿模型,今起全球开放用于编码金融法律等复杂任务,每百万输入 token $2、输出 $10。该模型在 Vals Index 经济领域基准排名第一,内部使用将智能体代码提交提升超 35%。此为 Gemini 4 家族首款发布的模型。
推荐理由:原文给出Gemini 4 Argon的全球可用入口与定价,读者可对比其在多项基准对经济领域的领先表现。
Google DeepMind发布Gemini 4 Argon通用物理推理模型,其在ERQA基准纯推理得分87%超过所有其他前沿模型,可应用于机器人全生命周期。文章给出机器人控制、Real2Sim仿真、物理理解与自改进四类代表提示词,覆盖从MuJoCo实操到视频世界模型 steering 等任务。该模型被视为加速通往物理AGI路径的重要里程碑。
针对 Amazon SageMaker AI 上的 MoE 模型,通过 Swap-AB 优化 WGMMA 利用率及 FP8 量化后端路由,实现了 2-4% 的端到端吞吐量提升。该 Swap-AB 优化已上游至 vLLM,并在 0.24.0 版本中可用。
Microsoft Research 推出 StudentSim 系统,利用去标识化公开数据训练个性化 AI 学生模拟器,以在真实测试前评估 AI 辅导效果。该系统通过 StudentSimEval 基准在数学、英语写作和棋类任务中表现优于现有基线,提供了有效的训练反馈信号。此举旨在解决人工学生研究成本高、周期长的问题,加速 AI 辅导系统的研发迭代。