在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 用于多语言推理
AWS 团队在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B,使多语言推理语言正确率从 22% 升至 100%。SFT 教会模型按指令用目标语言推理,叠加 GRPO 后将答案语言正确率从 62% 提升至 70%。对照 Qwen2.5-7B 实验显示 GRPO 仅在存在能力缺口时带来增益,GSM8K 上无提升。
AWS 团队在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B,使多语言推理语言正确率从 22% 升至 100%。SFT 教会模型按指令用目标语言推理,叠加 GRPO 后将答案语言正确率从 62% 提升至 70%。对照 Qwen2.5-7B 实验显示 GRPO 仅在存在能力缺口时带来增益,GSM8K 上无提升。
AWS 与 Keyfactor 联合发布参考架构,利用 X.509 PKI 解决 AI 智能体在 MCP 环境下的身份认证缺失问题。该方案结合 Keyfactor EJBCA 与 Amazon Bedrock,通过签名请求信封、委托断言及 OCSP 实时吊销机制,实现零信任下的智能体身份验证与权限控制。
AWS Agent Registry 提供托管服务,允许编排器在运行时通过语义搜索发现 MCP 服务器和 A2A 智能体,替代硬编码工具。该服务返回连接元数据但不含认证凭据,需通过独立路径获取。此机制解决了企业系统中工具数量激增导致的编排瓶颈,使新能力在注册审批后即可被动态调用。
Amazon Bedrock 加拿大区域现可通过跨区推理访问 OpenAI GPT-5.6、GPT-6 及 GPT-6.1 系列模型。这些模型支持 100 万 token 上下文窗口、推理模式及工具调用,并兼容 OpenAI Responses API 与 Bedrock Converse API。推理请求由北美区域处理,用户无需在应用中管理目标区域路由。
Mistral发布Voxtral 3语音模型家族与实时语音智能体SDK,支持50+语言转写和35+语言情感语音合成。该SDK基于LiveKit将听、推理、说整合为流式管道,每轮交互耗时低于1秒,支持通过Mistral欧盟API或自部署运行。模型包含Voxtral Small Transcribe 3等,批量转写价格低至$0.0035/min。
推荐理由:Mistral发布Voxtral 3语音模型家族与实时智能体SDK,给出50+语言转写和私有部署选项,便于企业评估语音工作流改造。
Hugging Face 发布 TorchTPU,一个原生 PyTorch 后端,让 TPU 成为 PyTorch 的普通设备,Hugging Face 生态的 Transformers、Diffusers 和 Kernels 均可原生运行于 TPU。
推荐理由:PyTorch用户过去需借助torch_xla或JAX才能用TPU,TorchTPU原生后端让Hugging Face模型指定tpu设备即可运行,简化部署流程。
AWS 演示了利用 AtScale 和 Amazon Bedrock AgentCore 构建 Agentic AI 语义层的方法,采用 Anthropic Claude Sonnet 4.6 作为基础模型。
AWS 演示了利用 Denodo 平台与 Amazon Bedrock AgentCore 构建 Agentic AI 语义层的方法,实现了对 Amazon Aurora、Amazon Redshift 及本地 PostgreSQL 的联邦查询。
Eon 利用 Amazon Bedrock AgentCore 构建统一 MCP Gateway,替代分散的工具凭证与本地 MCP 进程,实现跨 AWS、GCP 和 Azure 的集中式访问。该方案将新工程师配置调查工具的时间从 2 天缩短至约 2 分钟,并通过 Cedar 策略实现最小权限控制。此前 Eon 需为每个工具单独配置凭证,且本地 MCP 服务器难以标准化维护。
PyTorch 2.15 为 Mac 的 MPS 后端带来 FP8 支持与专用 Metal 内核,MoE 模型解码较 2.14 提速 5–6.5 倍,Wan2.2 视频 VAE 解码显存从 270 GiB 降至 8 GiB。softmax 与线性代数运算也显著加快,并新增 Python 层 MPS 流控制。
推荐理由:PyTorch 2.15 在 Mac 的 MPS 后端加入 FP8 与 Metal 内核,使 MoE 模型解码提速 5 至 6.5 倍,视频生成显存由 270 GiB 降至 8 GiB。
AWS 宣布新 SageMaker Studio 用户可通过 Google、GitHub 等身份在 2-3 步内完成注册,无需信用卡即可在约 20 秒内进入预配置环境。新用户获得 $100 AWS Free Tier 额度,最高可达 $200,有效期 6 个月。此举配合此前 Hugging Face 一键部署功能,消除了开发者从发现模型到部署的主要障碍。
Amazon SageMaker JumpStart 在 2026 年 1 月至 9 月间新增超过 100 个来自 30 家提供商的模型,显著扩展了目录规模。新增内容涵盖 NVIDIA Cosmos3 世界基础模型、多模态模型及量化模型,支持一键部署与 LoRA 等微调技术。此次扩容旨在满足客户对模型架构、规模及多模态能力的多样化需求。
Hugging Face 发布 TorchNeuron 公开 Beta,为 PyTorch 提供 AWS Trainium 原生后端,使 Transformers、Diffusers 等库直接支持 Trainium。
TwelveLabs 的视频语言模型 Pegasus 1.5 现已在 Amazon Bedrock 可用,支持将长视频转化为带时间戳的结构化 JSON 元数据。该版本单次请求可分析长达 2 小时的视频,并新增视频分段、多模态提示及无需预索引的即时处理功能。此前 Pegasus 1.2 仅支持 1 小时视频分析,此次升级显著扩展了处理容量。
vLLM 引入双向 KV 传输机制,允许 Decode 节点将已计算的 KV 缓存回传至 Prefill 节点,避免多轮对话中重复计算上下文。在 Amazon EC2 P5en 实例的基准测试中,该功能使 Qwen3-32B 的 TTFT 降低最高 1.6 倍,zai-org/GLM-5-FP8 降低最高 3.3 倍。
vLLM 引入基于推送的 NIXL 连接器,将 KV 传输协调移出关键路径,从而降低首 token 延迟(TTFT)和每输出 token 时间(TPOT)。在 Amazon EC2 P5en 实例上对 Qwen3-32B 模型的基准测试显示,相比拉取模式,推送模式 TTFT 提升最高达 3 倍,TPOT 改善最高达 30%。
Deepgram 将 Nova-3 语音转文本模型移植至 AWS Trainium2,在离线批量工作负载中实现了每美元处理音频量提升 11%–70%。该优化通过 Neuron 软件栈及自定义内核调优完成,单台 trn2.3xlarge 实例运行 8 个模型副本。此前 Deepgram 主要依赖标准 PyTorch 代码,此次合作旨在降低推理成本并提升服务效率。
AWS 基于 Amazon Bedrock AgentCore 构建了生产级 AI 智能体持续质量评估框架,用于解决智能体在演示中表现良好但在生产中静默失效的问题。
Reflection AI 发布 Beam 开源权重模型,面向智能体编程与长程任务,并给出 AWS 部署路径。该模型总参数 501B、活跃参数 23B、上下文 1M token,以 Apache 2.0 在 Hugging Face 开放。用户可通过 SageMaker JumpStart 托管或 HyperPod 配合 SGLang、vLLM 自管推理。
Mistral 发布首个时间序列基础模型家族 Timestral,其 209M 参数版本在 GIFT-Eval、TIME 和 fev-bench 三项基准均排名第一。
推荐理由:原文显示209M参数模型在三项公开基准均超越更大规模对手,读者可对比精度与算力门槛评估其边缘部署适用场景。
NVIDIA DLSS 4.5 控制功能现已在 GeForce NOW 上线,允许用户调整云游戏画质与性能。Ultimate 会员在 RTX 5080 云主机上可使用最高 4X 动态多帧生成。本周《Enshrouded》1.0 正式版及《Warhammer 40,000: Boltgun 2》同步在 GeForce NOW 上线。
Block 正在利用 OpenAI 技术构建 AI 驱动的安全系统。其安全团队能够更快地调查威胁,并在几分钟内提出补丁方案。
利用 Amazon Bedrock AgentCore 构建的 Agentic IDP 系统可自动分类、提取并验证业务文档,部署通常耗时不足 20 分钟。该系统通过八个专用 Agent 协作,能在新文档类型出现时自动训练并复用提取指令,无需手动配置模板。此前传统 IDP 方案因依赖静态模板,在面对供应商布局变化时往往需要大量人工维护。
Tamnoon 基于 Amazon Bedrock 构建了名为 Tami 的智能体云安全修复编排器,用于自动调查并安全修复云环境中的配置错误。该系统通过四个专用智能体协作,在 90 天内将关键云暴露风险降低 90% 以上,且未引发任何生产事故。此前,安全团队常因人工调查耗时过长及担心生产环境影响,导致大量高危漏洞长期未修复。
Amazon SageMaker JumpStart 提供预训练模型目录,支持通过 Python SDK 部署模型并执行轻量级性能测试。2026 年新增 Model Hub 浏览、预配置端点部署选项及 Hugging Face 一键集成,简化模型发现与部署流程。该工作流可测量延迟与生成速率,帮助开发者在质量、速度和成本间做出选择。
Amazon Bedrock 引入托管授权功能,允许从中央账户一次性订阅第三方 AI 模型并分发至组织内多个 AWS 账户,解决多账户重复接受私有定价优惠(MPPO)的操作摩擦。AWS 提供两种自动化方案:轻量级脚本用于一次性激活,或基于 AWS CDK 的事件驱动架构用于持续自动处理新协议。该方案通过 AWS License Manager 激活授权,确保协商价格生效,并记录审计日志。
AWS教程在Amazon Bedrock上用Grok 4.7构建长周期工具调用智能体,三个搜索任务72次运行答对67次。xhigh级别18次全对,low级别以约八分之一输出token答对15/18,文章给出了按请求设置推理努力与监控token用量的实践方法。
推荐理由:原文给出了在Amazon Bedrock上构建Grok 4.7工具调用智能体并评测推理努力级别的方法,读者可迁移到自有任务做成本与质量调优。
Orca Security 与 AWS 合作在 Amazon Bedrock 上构建 Discovery AI,将自然语言转换为 Sonar 查询。该方案使查询成本降低 90%、输入 token 减少 93%、延迟降低 75%,解决了早期原型高成本与高延迟问题。此前 Sonar 查询需手动构建复杂 JSON 对象,新系统通过多阶段流水线实现自动化。
针对 Amazon SageMaker AI 上的 MoE 模型,通过 Swap-AB 优化 WGMMA 利用率及 FP8 量化后端路由,实现了 2-4% 的端到端吞吐量提升。该 Swap-AB 优化已上游至 vLLM,并在 0.24.0 版本中可用。
Amazon Bedrock 在泰国、马来西亚、新加坡、印尼和台湾提供 OpenAI GPT-6 Sol、Luna 和 Astra 的全球跨区推理服务。用户可通过 Converse API 或 OpenAI 兼容接口调用,其中 Astra 仅支持新加坡作为源区域。该机制允许请求路由至部署区域以突破本地容量限制,计费与监控保留在源区域。
AWS 推出多节点 Ray LLM 深度学习容器,支持在 Amazon EKS 上通过分离 prefill 和 decode 节点部署大语言模型。该容器预集成 vLLM、NIXL 和 EFA 技术栈,提供 OpenAI 兼容 API,无需编写应用代码即可实现高性能推理。此前 AWS 仅发布了单节点 Ray Serve DLC,此次更新将预构建容器方案扩展至多节点分布式场景。
利用 AWS DLC for llama.cpp 在 Amazon SageMaker AI 上部署量化模型,支持通过 OpenAI 兼容 API 进行文本生成,或结合 SemIf 扩展返回选项概率。
Postman 基于 Amazon Bedrock 构建 Agent Mode,为 4000 万开发者提供跨 API 测试、文档及实现的 AI 原生工作流。该架构通过动态将 170 多个工具缩减至约 15 个以控制工具膨胀,并利用跨 Region 推理与多级提示缓存优化性能。此前 Postman 主要依赖界面导航,此次转型旨在解决成熟产品与 AI 智能体集成的结构性挑战。
Ai2 用 GPU 时间预算、分层公平分配和时间片契约替换了基于优先级的调度器,将资源分配从个案运营转为透明的行政预算流程。该机构管理数千块 NVIDIA H100、B200 和 B300 GPU,面临 2-3 倍于可用量的算力需求。此前基于优先级的调度导致了 GPU 占用和优先级通胀等“公地悲剧”问题。
Amazon SageMaker HyperPod 提供基于 EKS 的多租户参考架构,支持多团队共享 GPU 集群并实现资源隔离与公平分配。该架构利用 AWS IAM Identity Center 进行集中认证,通过 Kubernetes 命名空间隔离工作负载,并借助 HyperPod Task Governance 管理计算配额。
《战争机器:E-Day》于 10 月 6 日全球发售后立即上线 GeForce NOW,Ultimate 会员可体验 GeForce RTX 5080 级性能及 DLSS 技术。本周云游戏库新增 10 款游戏,包括《星球大战:银河赛车手》等 7 款新作。此外,Fire TV 用户将很快能通过 Amazon 直接购买 GeForce NOW 会员,简化从设备设置到游玩的流程。
AWS 宣布 Claude Haiku 5.5 在 Amazon Bedrock 与 Claude Platform on AWS 上线,该模型为 Claude 5.5 系列最快且多数任务成本较 Haiku 4.5 低约75%。它支持 effort controls 与高分辨率图像,适合子代理与高吞吐编码等任务,可与近期发布的 Opus 5.5 组成规划与执行分工。
推荐理由:Claude Haiku 5.5 较 Haiku 4.5 成本降约75%且支持 effort controls,读者可参考其在 AWS 子代理场景的性价比优势。
GitHub 发布与微软应用科学合作微调的密钥分类器,能在 2 毫秒内评估候选密钥,预计可将阻止泄露的密钥数量翻倍。数据显示,过去三年公开代码中每秒约出现一个新密钥,但开发者主动覆盖拦截的比例从 6.63% 降至 3.93%,表明风险意识提升而非疏忽。此前 GitHub 的推送保护主要依赖结构化模式匹配,该模型旨在扩展对无结构化密钥的防护能力。
AWS 推出六周结构化项目,帮助非工程背景的业务人员构建 AI 原型。该项目利用 Amazon Bedrock AgentCore 和 Strands Agents SDK,使参与者成功开发多智能体金融工具 WealthWise。数据显示,分阶段培训比密集式培训保留多三倍实用技能,旨在解决 90% 业务人员缺乏动手经验的问题。
AWS 展示利用 Lambda Durable Functions、EventBridge 和 Bedrock 构建自动化修复工作流,以补充 DevOps Agent 的根因分析能力。该流程将调查摘要转化为预验证的修复方案,只读操作自动执行,基础设施变更需人工批准。此方案旨在降低平均修复时间(MTTR),让值班工程师从重复诊断工作中解脱。