降低 Amazon Bedrock AgentCore JSON 工作负载的 token 成本与延迟
在代表性 23 MB payload 的基准运行中,三种 Amazon Bedrock AgentCore JSON 工作负载优化策略让 token 消耗最高降低 71%、平均延迟最高降低 80%。
推荐理由:文章给出生产智能体处理大 JSON 负载时降低 token 成本和延迟的三种工程策略,并用同一数据集对比优化前后的结果。
在代表性 23 MB payload 的基准运行中,三种 Amazon Bedrock AgentCore JSON 工作负载优化策略让 token 消耗最高降低 71%、平均延迟最高降低 80%。
推荐理由:文章给出生产智能体处理大 JSON 负载时降低 token 成本和延迟的三种工程策略,并用同一数据集对比优化前后的结果。
Amazon SageMaker AI 实时端点新增 KV cache-aware routing 策略,按容器报告的缓存状态选择实例。它用托管缓存索引按 token 匹配最长缓存并权衡负载,无有效匹配或匹配实例都繁忙时回退到 load-aware routing。
AWS 发布教程,讲解如何在生成式 AI 工作流中先判断步骤是否需要模型,再按确定性代码、受约束决策调用和合适规模模型分流。文章用客服助手示例说明,格式检查、关键词快路径和固定队列选择可先于模型执行,开放生成任务再用 Amazon Bedrock 中满足要求的最小模型。
推荐理由:原文给出一套先判断工作流步骤是否需要模型,再分流到规则、受约束决策调用和合适规模模型的成本优化方法。
文章演示了 Amazon Bedrock AgentCore 调用 Snowflake Cortex AI 时的三种 OAuth 认证配置。测试涵盖 Snowflake 原生 OAuth、基于第三方 IdP 的三腿 OAuth 及两腿 OAuth,并支持 OBO 授权。这些模式解决了企业级 AI 智能体在访问外部工具时的身份验证与权限管理问题。
AWS Forward Deployed Engineering 现已在美国、日本等 15 个国家面向商业及公共部门客户开放,旨在解决 AI 从演示到生产的“最后一公里”难题。该服务通过构建基础架构、自动化工作流及治理体系,帮助三星生命保险在 45 天内建立受治理的智能体平台,并协助 Marsh 实现高达 70% 的效率提升。AWS 于 6 月推出该服务,以填补原型与生产环境间的差距。
Amazon SageMaker 新增 AI 数据准备功能,支持通过 Python SDK 和 AWS AI-ML agent skill 生成合成数据、评估及改进现有数据集。该功能包含自动标注、人工审核、数据质量评估及转换等独立模块,可链式组合以简化从原始数据到训练的工作流。Splunk 等团队已利用其合成数据生成能力,加速构建特定任务的评估模型。
Aionic Labs 开源的时序语言模型 OpenTSLM 现已在 Amazon SageMaker JumpStart 上线,支持在 AWS 环境中部署。该模型结合数值测量与文本上下文,帮助 Nexthink 的 Spark 智能体实现主动 IT 支持。此前 OpenTSLM 仅作为开源模型发布,此次接入 SageMaker 提供了标准化的模型发现与部署路径。
AWS Quick 是专为工作场景打造的 AI 工作区,支持团队共享仪表盘、智能体及自动化流程,并内置企业级安全与治理。在 AWS re:Invent 2026 上,Allianz、Cox Automotive 等客户将分享其部署经验,例如 Allianz 在六周内完成 20 万员工的 AI 赋能。该指南旨在帮助不同角色的用户找到符合其目标的会议场次。
ArisGlobal 在 Amazon Bedrock 上通过前置并缓存共享提示词前缀,在不让成本按比例增长的情况下扩展多租户生成式 AI 推理。实现使用 Anthropic Claude Sonnet 4.5,此前共享前缀 6 个月增长约 150%,每案例推理成本增加超过 200%;调整后典型请求 65% 的输入 token 由缓存提供。
推荐理由:原文用生产指标说明调整缓存对象能降低输入成本,并提供多租户场景下可迁移的请求排序和缓存监控经验。
Amazon Bedrock Managed Knowledge Base 与 AgentCore 记忆集成,通过 AgenticRetrieveStream 实现多租户 AI 智能体的记忆感知检索。该方案自动提取并注入用户长期事实,结合 ACL 过滤确保文档访问隔离,且保持向后兼容。此前开发者需自行持久化对话历史,现由服务自动处理会话存储与事实提取。
NVIDIA 在 SC26 推出 DGX Spark HPC 开发者套件,该四节点集群通过 ConnectX-7 直连,提供 512GB 内存和 16TB 存储。利用 NVFP4 技术,用户可在本地部署最高 700B 参数的模型(如 DeepSeek V4.1),无需等待共享集群队列。该套件旨在让研究人员在桌面端运行多节点科学工作负载和 AI 模型,HPC SDK 安装指南即将发布。
AWS Machine Learning Blog 梳理了多智能体系统的确定性工作流、自主编排、混合架构、5 类反模式和制造场景选型约束。文中用 10 个步骤各 95 percent 可靠时端到端只有 59.9 percent、20 个步骤只有 35.8 percent 的例子说明依赖交接会放大风险。
推荐理由:原文给出多智能体模式与反模式的分类和决策树,帮助读者按任务确定性、专业分工与风险边界选择最简架构。
Duco 基于 Amazon Bedrock 和 Bedrock AgentCore 重构其智能体 AI 技术栈,以处理每月 200 亿笔交易。该方案兼容现有的 LangChain 和 LangGraph 代码,通过托管运行时降低部署时间与成本,同时确保银行数据隔离。此前 Duco 依赖传统机器学习模型,但难以适应不断变化的金融数据格式与业务规则。
Hugging Face 将 Inference Providers 的语言模型请求切换到 OpenRouter,用户可用同一 Hugging Face token 和 API 调用 Hub 上由服务商承载的开放权重模型。
推荐理由:文章把语言模型请求的路由变化、可观测入口和自定义密钥限制放在一起,读者可据此判断现有工作流需要怎样调整。
该方案利用 Amazon Bedrock、Kiro IDE 和 AWS Transform 将大型机 Assembler 代码转化为 Java Spring Boot 服务。
Amazon Bedrock 上的开源权重模型现已支持显式提示缓存,允许用户通过 Chat Completions API 标记可复用前缀以降低成本和延迟。该功能与隐式缓存互补,显式模式适用于固定共享前缀场景,可避免为未复用的动态内容支付更高的缓存写入费用。
针对 Amazon Bedrock Guardrails 中 Denied Topics 常因语义匹配过宽导致误拦截合法查询的问题,文章提出八项编写最佳实践。核心建议是将主题定义聚焦于用户具体意图而非宽泛领域,并规范名称、定义及示例的撰写以避免边界模糊。
NVIDIA Vera Rubin 平台在 MLPerf Training v6.1 中横扫全部基准,并在 MLPerf Endpoints 智能体推理测试中领先。
NVIDIA 发布 Slurm 26.11 扩展,支持通过 QRMI 和 QDMI 接口将量子处理器集成到超级计算中心。该更新允许 QPU 构建者通过单一文件创建通用硬件接口,简化了 HPC 中心与量子硬件的集成流程。目前 Alice & Bob、IBM 等机构已采用此扩展,Slurm 26.11 将于本月晚些时候可用。
Lambda 采用 NVIDIA Photonics 共封装光学交换机连接超过 10,000 个 GPU 的 NVIDIA GB300 NVL72 机架集群。该方案将网络功耗效率提升最高 5 倍,可靠性提升最高 15 倍,并在机架和 Pod 规模下分别降低约 4% 和 10% 的网络延迟。
NVIDIA NeMo Switchyard 开源库通过 LiteLLM 集成,在 Amazon Bedrock 上实现编码智能体请求的路由,支持 Stage 和 Random 两种策略。该方案利用 AWS CDK 部署,旨在通过评估“每解决任务成本”来优化 Claude Code 等智能体的运行开销。
GS Caltex 利用 Amazon SageMaker Canvas 和 Pipelines 将流程工程师的模型接入生产工作流,实现了从 Canvas 到 Pipelines 的自动化交接。ML 工程师部署模型的时间从约一周缩短至数小时,并通过每 30 分钟一次的批量推理显著降低了推理成本。此前该交接过程需要手动配置数据路径和模型参数,且依赖持续运行的端点。
用户可从 Amazon SageMaker JumpStart 部署 OpenFold3-preview,该开源模型由 OpenFold Consortium 和哥伦比亚大学 AlQuraishi Lab 开发,支持预测蛋白质、DNA、RNA 及配体的 3D 结构。
Amazon Bedrock AgentCore runtime V2 在部署时构建一次微VM快照、新会话直接恢复以减少启动耗时,AWS 官方文章讲解了四种优化架构模式。这些模式涵盖将静态工作置于 init 阶段、用 build hook 加载进程外文件、以及在用户交互前预暖会话。文章还提供延迟测量方法与快照 pitfalls 提醒。
AssemblyAI 利用 Amazon EC2 Spot 实例与 Amazon ECS 构建混合 GPU 集群,在保持 SLA 承诺的同时大幅降低大规模语音转文本推理成本。该架构通过混合 g4dn、g5 和 g6 实例族分散风险,并采用 Amazon SQS 队列机制实现中断后的任务自动重试。此方案部署于欧洲 AWS 区域,以满足医疗、金融等受监管行业的数据驻留合规要求。
Amazon Bedrock 提供内置的零代码成本归因功能,将每次推理调用追溯至发起请求的 IAM 主体。该机制通过 bedrock-runtime 或 bedrock-mantle 端点工作,支持 Claude Code、OpenAI Codex 等工具,无需修改 API 调用即可在 CUR 2.0 中实现按用户和团队的成本可视化。
Amazon SageMaker HyperPod 新增 Data Capture 功能,可将生产环境推理数据记录至 S3 以支持模型迭代。该功能提供三个独立捕获层级,对模型可用性零影响。文章演示了利用捕获数据发现盲点、标记并微调 Qwen2.5-3B-Instruct 模型的完整流程。
Natera 基于 Amazon Bedrock AgentCore 构建了名为 SWARM 的实验室运营智能体系统,实现了约 130 倍的首次响应速度提升和 96.2% 的工单自动化覆盖率。该系统通过两个互补的智能体共享技能库,在工单到达时即时提供机构知识支持。此前 Natera 面临平均 17.4 小时的首次响应时间,且资深技术人员离职导致关键诊断知识流失。
RadixArk 与 Annapurna Labs 合作推出的 SGLang-Neuron 现已通过 AWS Deep Learning Container 公开可用,支持在 AWS Trainium 上运行 SGLang 进行模型服务及强化学习 rollout 生成。
Amazon Bedrock 推理成本受缓存时长、服务层级、推理力度和 maxTokens 四个请求级参数影响。以 Claude Sonnet 5 为例,5 分钟缓存写入成本为输入费率的 1.25 倍,1 小时写入为 2 倍,缓存读取仅为 0.1 倍。
AWS 展示如何利用 CUR 2.0 和 AWS Budgets 实现 Amazon Bedrock 按 IAM 主体的成本可视化与自动支出限额。该方案无需编写应用代码,通过 IAM 主体标签归因、Cost Explorer 或 CUR 2.0 报告,以及触发 Deny IAM 策略的预算动作来执行限制。此前 Jamf 曾基于 Lambda 构建实时支出执行循环,而本方案仅依赖 AWS 原生功能。
文章演示了利用 Amazon Bedrock 和部署在 AWS Fargate 上的 LiteLLM 构建自助式 LLM 网关,通过 OpenAI 兼容 API 抽象底层模型访问。该架构支持开发者通过单一 API 密钥使用 Claude Sonnet 等模型,并实现按用户成本控制和性能监控。此方案允许开发者在不修改工具配置的情况下切换模型或添加回退机制。
文章提出基于单任务成本而非单 token 成本评估 Amazon Bedrock 智能体支出的框架,指出 tokenizer 效率、输出冗余、智能体循环及推理开销是定价页未显示的四大隐性成本驱动因素。通过缓存、路由和输出约束降低单任务成本,并利用人类基线、保留实验及五维记分卡量化智能体相对于人工的 ROI。
Amazon Bedrock AgentCore runtime 宣布更新,在每会话硬件隔离的 Firecracker MicroVM 基础上将会话启动提速最多15倍、计算扩至4倍且效率升68%。新版本支持空闲缩零与按用量计费,数据可挂载文件系统纳入同一信任边界,多家企业报告成本与延迟降低。该更新是 AgentCore 托管计算层面向生产规模智能体的升级。
AWS 团队在博客中提出 Agent Development Lifecycle (Agent DLC) 方法论,用于规范 AI 智能体从原型到生产的工程化评估与发布。该方法定义五大维度三层级标准及内外双循环,并借 HR 政策助手参考实现演示评估指标如何暴露检索覆盖问题。文中还列举了 Amazon Bedrock AgentCore 等 AWS 服务对落地该方法的支持。
AWS 展示了一套基于 A2A 协议的参考架构,实现 LangChain 编排器与 Strands Agents SaaS 智能体在独立 AWS 账户间的互操作。
Warhammer 40,000: Dawn of War IV 将于 12 月 3 日登陆 GeForce NOW,支持云游戏。NVIDIA DLSS 5 技术将陆续应用于 War Thunder 和 Where Winds Meet,其模型性能较上一版本翻倍。
开发者可利用 OpenAI Codex 结合 Amazon Bedrock 进行代码探索与工程任务处理,实现模型推理与企业身份管理的集成。文章演示了基于 GPT-5.6 Sol 的试点部署,涵盖 Native AWS Access、AgentCore Gateway 及 LLM Gateway 三种访问路径的配置与权限控制。
DXC Technology 基于 Amazon Bedrock 构建了多模型 AI 基座,统一接入 Anthropic Claude、Amazon Nova 和 Meta Llama 等模型。
AWS 利用 CloudTrail、EventBridge 和 Lambda 构建事件驱动架构,自动同步 MCP 服务器变更至 AWS Agent Registry。该方案支持单账户及跨账户环境,通过 AgentCore Identity 安全认证并更新工具 schema,解决元数据陈旧导致的信任问题。