Amazon SageMaker AI 实时端点现支持 KV cache 感知路由
Amazon SageMaker AI 实时端点新增 KV cache-aware routing 策略,按容器报告的缓存状态选择实例。它用托管缓存索引按 token 匹配最长缓存并权衡负载,无有效匹配或匹配实例都繁忙时回退到 load-aware routing。
Amazon SageMaker AI 实时端点新增 KV cache-aware routing 策略,按容器报告的缓存状态选择实例。它用托管缓存索引按 token 匹配最长缓存并权衡负载,无有效匹配或匹配实例都繁忙时回退到 load-aware routing。
AWS 发布教程,讲解如何在生成式 AI 工作流中先判断步骤是否需要模型,再按确定性代码、受约束决策调用和合适规模模型分流。文章用客服助手示例说明,格式检查、关键词快路径和固定队列选择可先于模型执行,开放生成任务再用 Amazon Bedrock 中满足要求的最小模型。
推荐理由:原文给出一套先判断工作流步骤是否需要模型,再分流到规则、受约束决策调用和合适规模模型的成本优化方法。
AWS Agent Registry 现已支持自定义元数据模式,允许管理员定义组织特定的键值对并强制所有记录遵循该模式。该功能通过验证环境、业务单元等字段,实现了基于结构化证据的治理与合规,并支持结合自然语言查询和元数据过滤进行资源发现。此前,组织在 AWS Agent Registry 中无法定义这些特定事实并存储于每条记录中。
AWS Forward Deployed Engineering 现已在美国、日本等 15 个国家面向商业及公共部门客户开放,旨在解决 AI 从演示到生产的“最后一公里”难题。该服务通过构建基础架构、自动化工作流及治理体系,帮助三星生命保险在 45 天内建立受治理的智能体平台,并协助 Marsh 实现高达 70% 的效率提升。AWS 于 6 月推出该服务,以填补原型与生产环境间的差距。
AWS 推出开源 Python SDK 和 Terraform 栈 SMART,用于在 Amazon Bedrock AgentCore 上构建 WhatsApp AI 智能体。
AWS 为构建 Agentic AI 平台的团队提供了一份分阶段的负责任 AI(RAI)实施路线图,涵盖治理基础、试点部署及评估加固三个阶段。该方案旨在解决非确定性输出、数据暴露及监管合规等挑战,并配套提供 RAI 评估技能与记分卡,帮助平台与应用团队在 12 周内建立治理框架。
LoanPro 与 AWS 合作,基于 Amazon Bedrock AgentCore 和 Strands Agents SDK 构建了多智能体 AI 贷款服务助手。该助手利用 Claude Sonnet 5.5 等模型整合借款人数据,使客户通话时间最多减少 15%。
AWS Quick 是专为工作场景打造的 AI 工作区,支持团队共享仪表盘、智能体及自动化流程,并内置企业级安全与治理。在 AWS re:Invent 2026 上,Allianz、Cox Automotive 等客户将分享其部署经验,例如 Allianz 在六周内完成 20 万员工的 AI 赋能。该指南旨在帮助不同角色的用户找到符合其目标的会议场次。
ArisGlobal 在 Amazon Bedrock 上通过前置并缓存共享提示词前缀,在不让成本按比例增长的情况下扩展多租户生成式 AI 推理。实现使用 Anthropic Claude Sonnet 4.5,此前共享前缀 6 个月增长约 150%,每案例推理成本增加超过 200%;调整后典型请求 65% 的输入 token 由缓存提供。
推荐理由:原文用生产指标说明调整缓存对象能降低输入成本,并提供多租户场景下可迁移的请求排序和缓存监控经验。
NVIDIA 在 SC26 上宣布 Nemotron for Science、Rubin HPC GPU 及扩展的 Vera CPU 平台,并展示与 IBM 和费米实验室的量子计算合作。
OpenAI 与智利政府建立合作伙伴关系,旨在支持负责任的 AI 采用、建设公共部门技能并帮助当地初创企业开发 AI 应用。
Amazon Bedrock Managed Knowledge Base 与 AgentCore 记忆集成,通过 AgenticRetrieveStream 实现多租户 AI 智能体的记忆感知检索。该方案自动提取并注入用户长期事实,结合 ACL 过滤确保文档访问隔离,且保持向后兼容。此前开发者需自行持久化对话历史,现由服务自动处理会话存储与事实提取。
AWS Machine Learning Blog 梳理了多智能体系统的确定性工作流、自主编排、混合架构、5 类反模式和制造场景选型约束。文中用 10 个步骤各 95 percent 可靠时端到端只有 59.9 percent、20 个步骤只有 35.8 percent 的例子说明依赖交接会放大风险。
推荐理由:原文给出多智能体模式与反模式的分类和决策树,帮助读者按任务确定性、专业分工与风险边界选择最简架构。
Duco 基于 Amazon Bedrock 和 Bedrock AgentCore 重构其智能体 AI 技术栈,以处理每月 200 亿笔交易。该方案兼容现有的 LangChain 和 LangGraph 代码,通过托管运行时降低部署时间与成本,同时确保银行数据隔离。此前 Duco 依赖传统机器学习模型,但难以适应不断变化的金融数据格式与业务规则。
OpenAI 展示 Dots 在 Holiday Extras 的主动工作场景,无需用户指令即可自动交付启动报告、标记潜在问题,并在通勤途中讨论即将到来的会议。
MoEngage 基于 Amazon Bedrock AgentCore 构建 Merlin AI 智能体系统,通过 MCP 协议将现有 API 转化为智能体可调用的工具。该系统利用 Claude Sonnet 4.6 等模型实现跨渠道营销自动化,客户 Glance 的推送点击率因此提升 38%。
Novo Nordisk 基于 Amazon Bedrock AgentCore 构建智能支持系统,利用 GraphRAG 架构和 Anthropic Claude 模型优化制药制造文档管理。该系统通过知识图谱与混合搜索结合,帮助专家将原本耗时数小时或数天的工作缩短至几分钟,并解决传统 RAG 在受监管环境中处理精确标识符和多跳关系时的局限性。
TokenEconomizer 利用代码仓库中的历史会话降低 AI 编码智能体 token 成本,是来自 UC Berkeley、Microsoft Research 和 Microsoft Security 的开源插件。
推荐理由:研究给出了利用仓库历史会话降低 AI 编码智能体 token 成本的方法,并在 277 个真实缺陷修复任务中报告成本下降且成功率大体稳定。
Amazon Bedrock Managed Knowledge Base 新增检索指令功能,允许为不同租户定制回答的语气、格式及策略。该功能通过版本化资源管理指令,支持在共享知识库中实现多租户差异化服务,但需配合元数据过滤器进行数据隔离。此前用户需关闭响应生成并自行维护提示词以实现固定风格。
Amazon Bedrock Managed Knowledge Base 新增表格搜索功能,支持通过 agentic retrieval 从 CSV、XLSX 或 XLS 文件中获取答案。该功能在隔离沙箱中运行代码以处理整张表格,结合文档事实回答需多步计算的复杂问题,适用于财务分析等场景。
NVIDIA 在 SC26 发布 Rubin HPC GPU,旨在加速科学、工程和数据分析工作流中的模拟与数据处理。该 GPU 配备超过 50,000 个 CUDA 核心及第七代 NVLink 互连技术,通过稀疏数据加速能力优化计算效率。Rubin HPC 预计于 2028 年可用,此前 NVIDIA 已推出 Vera Rubin 平台。
NVIDIA 扩展 CUDA-X 库(含 cuPhoton、cuPotential、cuSpa),为 AI 智能体提供加速科学发现工具。cuPhoton 将黑洞观测分析从一个月缩短至 8 分钟,cuSpa 实现 900 倍加速,cuPotential 提升分子模拟 3 倍。这些加速帮助科学家处理更大数据集并实时引导模拟,是 SC26 大会发布的一部分。
NVIDIA Vera Rubin 平台在 MLPerf Training v6.1 中横扫全部基准,并在 MLPerf Endpoints 智能体推理测试中领先。
OpenAI 为 ChatGPT for Healthcare 引入计算机使用智能体、改进的临床回答及跨医疗软件工作的新插件。这些功能旨在通过跨软件协作完成实际医疗工作,推动护理流程向前发展。
The King’s Trust 与 OpenAI 启动一项 100 万英镑的合作计划,旨在帮助英国多达 25,000 名年轻人掌握实用的 AI 工作技能。
NVIDIA 在 COEX 举办为期两天的 AI Day Seoul,吸引超过 2000 名韩国产业领袖、初创企业及开发者参与,聚焦物理 AI 与 AI 智能体。
Shield 利用 OpenAI 帮助 IT 技术人员移交遗留门户中的工作。其 Forge 智能体负责导航系统,使技术人员能专注于需要其判断的问题。
NVIDIA NeMo Switchyard 开源库通过 LiteLLM 集成,在 Amazon Bedrock 上实现编码智能体请求的路由,支持 Stage 和 Random 两种策略。该方案利用 AWS CDK 部署,旨在通过评估“每解决任务成本”来优化 Claude Code 等智能体的运行开销。
Amazon Bedrock AgentCore runtime V2 在部署时构建一次微VM快照、新会话直接恢复以减少启动耗时,AWS 官方文章讲解了四种优化架构模式。这些模式涵盖将静态工作置于 init 阶段、用 build hook 加载进程外文件、以及在用户交互前预暖会话。文章还提供延迟测量方法与快照 pitfalls 提醒。
Google 面向外部研究者和开发者开放 Antigravity 中的 /teamwork 与 /boost 多智能体工具,支持结合 Gemini 4 模型开展长程科学证明与工程任务。
推荐理由:这些多智能体工具向外部开放,研究者可借 Gemini 4 与验证环路自行开展大规模证明与工程任务。
Amazon Bedrock 提供内置的零代码成本归因功能,将每次推理调用追溯至发起请求的 IAM 主体。该机制通过 bedrock-runtime 或 bedrock-mantle 端点工作,支持 Claude Code、OpenAI Codex 等工具,无需修改 API 调用即可在 CUR 2.0 中实现按用户和团队的成本可视化。
ChatGPT Wallet 推出,为 ChatGPT Work、Codex 和 dots 中的智能体提供在用户批准和现有银行卡保护下完成购买的安全方式。
推荐理由:ChatGPT Wallet 为 ChatGPT Work、Codex 等环境中的智能体提供经用户批准的代付能力,并延续银行卡保护,可降低自动采购风险。
Amplitude 基于 OpenAI 模型构建的主动产品智能体 Wave,能够识别构建目标、协助团队通过编码智能体交付变更并衡量影响。该智能体帮助 Amplitude 在 1-2 天内完成产品改进的交付。
GitHub 员工 Andrea Griffiths 在 GitHub 博客发表 agent 技能实践指南,讲解如何将重复任务封装为可跨智能体复用的技能。
推荐理由:本文给出了将重复任务封装为可移植智能体技能的具体方法,团队可借鉴其清单与校验点设计来沉淀业务知识。
Natera 基于 Amazon Bedrock AgentCore 构建了名为 SWARM 的实验室运营智能体系统,实现了约 130 倍的首次响应速度提升和 96.2% 的工单自动化覆盖率。该系统通过两个互补的智能体共享技能库,在工单到达时即时提供机构知识支持。此前 Natera 面临平均 17.4 小时的首次响应时间,且资深技术人员离职导致关键诊断知识流失。
Amplitude 基于 OpenAI 模型构建的主动产品智能体 Wave,能够识别构建目标、协助团队通过编码智能体交付变更并衡量影响。该智能体帮助 Amplitude 在 1-2 天内完成产品改进的交付。
文章演示了利用 Amazon Bedrock 和部署在 AWS Fargate 上的 LiteLLM 构建自助式 LLM 网关,通过 OpenAI 兼容 API 抽象底层模型访问。该架构支持开发者通过单一 API 密钥使用 Claude Sonnet 等模型,并实现按用户成本控制和性能监控。此方案允许开发者在不修改工具配置的情况下切换模型或添加回退机制。
文章提出基于单任务成本而非单 token 成本评估 Amazon Bedrock 智能体支出的框架,指出 tokenizer 效率、输出冗余、智能体循环及推理开销是定价页未显示的四大隐性成本驱动因素。通过缓存、路由和输出约束降低单任务成本,并利用人类基线、保留实验及五维记分卡量化智能体相对于人工的 ROI。
Amazon Bedrock AgentCore runtime 宣布更新,在每会话硬件隔离的 Firecracker MicroVM 基础上将会话启动提速最多15倍、计算扩至4倍且效率升68%。新版本支持空闲缩零与按用量计费,数据可挂载文件系统纳入同一信任边界,多家企业报告成本与延迟降低。该更新是 AgentCore 托管计算层面向生产规模智能体的升级。
Google DeepMind 今日发布 Gemini 4 Hydrogen 模型,面向 Google AI Studio、Gemini API、Gemini app、Search 等全员开放,默认高思考层级在 Artificial Analysis Intelligence Index 获 51 分超越 Argon 的 50 分。
推荐理由:Gemini 4 Hydrogen以统一价格和四档思考层级面向全员开放,开发团队可据此权衡不同智能体任务的成本与延迟。