Amazon SageMaker AI 上的 Mixture-of-Experts 内核工程优化
针对 Amazon SageMaker AI 上的 MoE 模型,通过 Swap-AB 优化 WGMMA 利用率及 FP8 量化后端路由,实现了 2-4% 的端到端吞吐量提升。该 Swap-AB 优化已上游至 vLLM,并在 0.24.0 版本中可用。
针对 Amazon SageMaker AI 上的 MoE 模型,通过 Swap-AB 优化 WGMMA 利用率及 FP8 量化后端路由,实现了 2-4% 的端到端吞吐量提升。该 Swap-AB 优化已上游至 vLLM,并在 0.24.0 版本中可用。
无问芯穹完成C轮23亿元融资,累计43亿元,刷新国产AI Infra赛道单轮与累计融资双重纪录。公司不选自建机房,以软件编排异构算力,平台已适配16种芯片并实现千卡异构混合训练。在Agent催化算力缺口扩大背景下,资本加码基础设施层,公司也已保密递交港交所IPO申请。
Anthropic研究员William Zhou和Daniel Freeman发布安全报告,实测GLM-5.2在隔离网络端到端自主复制并攻陷8台设备中的7至8台。实验用15台廉价电视盒子拼接运行26B模型Gemma4-26B-A4B,显示边缘算力可去中心化缝合。研究推算到2026年底30B以下小模型或具备同等自主复制能力,物联网防御需转向行为监控。
老干妈在陶华碧重回一线管理后落地全链路AI管理系统,2025年全年营收达54亿元创品牌历史新高。车间全面上线AI视觉质检,高速相机0.3秒识别霉变辣椒,关键工序不良率降至0.02%。此前2019年陶华碧重回恢复原料标准并推进智能化升级,带动业绩从42亿元低谷回升。
Astera Labs 发布基于开放标准的“计算无关”机架参考设计 Orion,采用模块化结构支持多样化 CPU 和 AI 推理加速器。该平台核心为 320 通道 PCIe Switch,每个 pod 最多支持 160 块加速器,旨在提供低延迟通信与可扩展内存容量。
英伟达在OCP全球峰会宣布开放Vera Rubin机架与计算托架设计,并向OCP贡献MGX架构,使系统厂商可开发下一代AI工厂基础设施。更新后的MGX 1.2规范支持最高250kW机架部署,同时发布的4个开源软件组件可帮助云服务商数小时内将硬件部署为生产集群。英伟达还与Google等发布多项开放标准,Meta将采用Spectrum-6构建基于开放网络的Vera Rubin AI工厂。
微软发布新一代自研AI芯片Maia 300,并计划明年部署超百万颗用于支撑内部AI业务。该芯片采用chiplet架构,单机柜内置96颗、功耗约167千瓦,每兆瓦有效计算量比主流GPU系统高约40%。上一代Maia芯片已用于运行微软自研模型及Azure云平台上的OpenAI模型。
推荐理由:报道介绍微软Maia 300自研AI芯片采用chiplet技术架构,并对比英伟达GB300机柜的芯片数与功耗,读者可借此评估其部署效率差异。
4 张 Tesla V100 组成的 NVLink 集群在 Qwen3.8-Flash-Next 基准测试中,长提示处理速度较 2 台 DGX Spark 快 40%,较 M5 Ultra 快 230%。短提示 Token 生成速度达 100.6 tok/s,较 DGX Spark 快 121%。该测试展示了 2017 年发布的旧款数据中心 GPU 在特定推理负载中仍具备较高吞吐能力。
Amazon Bedrock 在泰国、马来西亚、新加坡、印尼和台湾提供 OpenAI GPT-6 Sol、Luna 和 Astra 的全球跨区推理服务。用户可通过 Converse API 或 OpenAI 兼容接口调用,其中 Astra 仅支持新加坡作为源区域。该机制允许请求路由至部署区域以突破本地容量限制,计费与监控保留在源区域。
AWS 推出多节点 Ray LLM 深度学习容器,支持在 Amazon EKS 上通过分离 prefill 和 decode 节点部署大语言模型。该容器预集成 vLLM、NIXL 和 EFA 技术栈,提供 OpenAI 兼容 API,无需编写应用代码即可实现高性能推理。此前 AWS 仅发布了单节点 Ray Serve DLC,此次更新将预构建容器方案扩展至多节点分布式场景。
利用 AWS DLC for llama.cpp 在 Amazon SageMaker AI 上部署量化模型,支持通过 OpenAI 兼容 API 进行文本生成,或结合 SemIf 扩展返回选项概率。
Blueprints AI 利用 AI 从 2D 草图或 PDF 生成符合规范且可办理许可的建筑蓝图,其第二代软件本周在 TechCrunch Disrupt 上公开可用。该软件支持从描述或草图一次性生成建筑、结构、机械等全方面蓝图,且单一设计变更会自动更新整个项目并对照当地建筑规范检查。此前第一代软件月费在 $3,200 至 $8,500 之间,主要面向专业建筑设计和房地产开发商。
人工智能基础设施企业无问芯穹完成 23 亿元 C 轮融资,累计融资达 43 亿元,单轮及累计均创中国 AI 原生基础设施赛道最高纪录。公司走异构算力调度中间层路径,其 Token 工厂过去一年推动推理成本 10 倍下降。此前于 2026 年 5 月获超 7 亿元融资。
亚马逊正洽谈以约70亿美元收购专注跨芯片适配软件的 AI 初创公司 Decart。此前 Anthropic 曾拟以60亿美元收购但于今年9月放弃。Decart 软件可助开发者在不同 AI 芯片间无缝切换,已从红杉等机构筹资逾4亿美元。
机械革命将推出基于 NVIDIA RTX Spark 超级芯片的迷你主机大师之路 X10。该设备搭载自主研发的 AI SSD,可将超大规模本地模型从 DRAM 卸载至 NAND,并通过复用上下文减少重复计算。该产品此前已出现在机械革命创始人 9 月的演讲幻灯中。
Python 3.15.0 已正式加入 actions/python-versions 仓库。开发者现在可以在 GitHub Actions 测试矩阵中添加 "3.15" 以针对该新发布版本运行测试。
Talorys 是一款开源个人 AI 智能体,完全运行在用户自己的 Cloudflare 账户中,无需开发者托管服务器。它利用 Cloudflare Workers AI 调用 glm-4.7-flash 模型,通过 Durable Objects 存储数据并执行定时任务,支持聊天、记忆管理及自动化提醒。
Standard Bots 高管向 Latent Space 分享工业机器臂 AI 栈与可靠执行经验。其共享基础模型通过演示微调适配,推理在本地边缘 GPU 运行,并用真实部署修正边缘案例。公司已推 StandardOS 平台提供 API 与 SDK,此前获 $200 million C 轮融资、估值 $1 billion。
微软推出专为结构化决策打造的 Microsoft-Decision-1 模型,该模型基于 Qwen3.5-9B 后训练,响应速度比 GPT-6 Sol 快 35 倍。模型已上线 Microsoft Foundry 和 OpenRouter,输入价格每百万 Token 0.042 美元,输出免费。
Postman 基于 Amazon Bedrock 构建 Agent Mode,为 4000 万开发者提供跨 API 测试、文档及实现的 AI 原生工作流。该架构通过动态将 170 多个工具缩减至约 15 个以控制工具膨胀,并利用跨 Region 推理与多级提示缓存优化性能。此前 Postman 主要依赖界面导航,此次转型旨在解决成熟产品与 AI 智能体集成的结构性挑战。
Ai2 用 GPU 时间预算、分层公平分配和时间片契约替换了基于优先级的调度器,将资源分配从个案运营转为透明的行政预算流程。该机构管理数千块 NVIDIA H100、B200 和 B300 GPU,面临 2-3 倍于可用量的算力需求。此前基于优先级的调度导致了 GPU 占用和优先级通胀等“公地悲剧”问题。
openJiuwen 发布并开源企业级 AgentOS,将多智能体协同、自演进及算力亲和能力融入统一底座。该平台通过插件化架构与 Agentic Hub 生态,支持技能与连接器灵活组合,并实现小时级企业端到端私有化部署。此前华为在 HC2026 大会上已发布基于该系统的开源 Agent 加速平台及一体机解决方案。
微软在 Windows 11 的 Windows ML 框架中实验性原生支持 GGUF 与 ONNX 格式模型推理,并推出 Windows ML Runtime API。
Amazon SageMaker HyperPod 提供基于 EKS 的多租户参考架构,支持多团队共享 GPU 集群并实现资源隔离与公平分配。该架构利用 AWS IAM Identity Center 进行集中认证,通过 Kubernetes 命名空间隔离工作负载,并借助 HyperPod Task Governance 管理计算配额。
《战争机器:E-Day》于 10 月 6 日全球发售后立即上线 GeForce NOW,Ultimate 会员可体验 GeForce RTX 5080 级性能及 DLSS 技术。本周云游戏库新增 10 款游戏,包括《星球大战:银河赛车手》等 7 款新作。此外,Fire TV 用户将很快能通过 Amazon 直接购买 GeForce NOW 会员,简化从设备设置到游玩的流程。
Zenity Labs 发现 AWS Bedrock AgentCore 存在名为“AgentCorruption”的漏洞,攻击者仅需访问一个公开 Agent 即可利用默认权限接管同 AWS 账户和区域内所有 Agent。研究人员通过窃取元数据服务凭证,实现读取私有对话、下载源代码及篡改长期记忆,AWS 已默认启用 IMDSv2 并收紧默认角色权限以修复该问题。
AMD 向 Radeon RX 9000 及 7000 系列等显卡推送新版 Adrenalin 驱动,主要提供对 ROCm 10.1 加速计算软件堆栈的支持。ROCm 10.1 引入了 ROCm CLI、支持 LLVM 24 并更新了 AI 与数学库。该驱动不包含游戏改进,旨在优化数据移动效率并扩展 GPU 虚拟化支持。
微软在时隔两年的线下活动中发布 Surface Laptop Ultra,起售价 2599 美元,搭载 Nvidia RTX Spark SoC 及 Blackwell GPU,最高支持 128GB 统一内存。该设备利用统一内存架构兼顾本地 AI 开发与 AAA 游戏运行,将于 10 月 16 日发货。
Anthropic 发布 Claude Haiku 5.5,其最便宜且能力最强的小模型,标准速度最快且 API 价格低于前代。对于 10 万 token 以内提示,输入每百万 token 0.10 美元,输出 0.50 美元,平均运行成本比 Haiku 4.5 低约 75%。
AWS 宣布 Claude Haiku 5.5 在 Amazon Bedrock 与 Claude Platform on AWS 上线,该模型为 Claude 5.5 系列最快且多数任务成本较 Haiku 4.5 低约75%。它支持 effort controls 与高分辨率图像,适合子代理与高吞吐编码等任务,可与近期发布的 Opus 5.5 组成规划与执行分工。
推荐理由:Claude Haiku 5.5 较 Haiku 4.5 成本降约75%且支持 effort controls,读者可参考其在 AWS 子代理场景的性价比优势。
微软 Surface RTX Spark Dev Box 现已开启预购,售价 5,999 美元,计划于 11 月发货。该设备搭载 Nvidia Arm 架构的 RTX Spark 平台及 128GB 统一内存,专为本地运行超过 120B 参数的大模型及开发 AI 智能体优化。
GitHub 发布与微软应用科学合作微调的密钥分类器,能在 2 毫秒内评估候选密钥,预计可将阻止泄露的密钥数量翻倍。数据显示,过去三年公开代码中每秒约出现一个新密钥,但开发者主动覆盖拦截的比例从 6.63% 降至 3.93%,表明风险意识提升而非疏忽。此前 GitHub 的推送保护主要依赖结构化模式匹配,该模型旨在扩展对无结构化密钥的防护能力。
AWS 推出六周结构化项目,帮助非工程背景的业务人员构建 AI 原型。该项目利用 Amazon Bedrock AgentCore 和 Strands Agents SDK,使参与者成功开发多智能体金融工具 WealthWise。数据显示,分阶段培训比密集式培训保留多三倍实用技能,旨在解决 90% 业务人员缺乏动手经验的问题。
AWS 展示利用 Lambda Durable Functions、EventBridge 和 Bedrock 构建自动化修复工作流,以补充 DevOps Agent 的根因分析能力。该流程将调查摘要转化为预验证的修复方案,只读操作自动执行,基础设施变更需人工批准。此方案旨在降低平均修复时间(MTTR),让值班工程师从重复诊断工作中解脱。
Qlik 基于 Amazon Bedrock 构建 Qlik Answers,通过路由层与专家智能体架构解决企业数据查询缺乏来源验证的问题。自 2026 年 2 月正式可用以来,其 Discovery Agent 已发现超 10 万条异常,Lintech 等客户利用该工具将研究时间缩短 75%。
AWS 提出“智能体价值模型”,指出传统 RPA 的 ROI 模型无法衡量智能体自动化在异常处理、决策质量及维护韧性上的价值。该框架强调需将节省工时转化为实际 P&L 收益,并引用 McKinsey 数据指出企业常忽视流程重构与能力建设投入。
AMD 将在 2026 年内将 FSR 4 支持扩展至 APU、游戏本、掌机等全线设备。AMD 新开发了针对 APU 特性优化的专用版 FSR 4 技术,旨在提供高质量游戏视觉效果的同时降低画面延迟。此前 AMD 已为 RX 7000 显卡提供 FSR 超分 4.1 支持。
Stacklok 由 Kubernetes 创造者创办,构建云原生 harness Mecatl 与 MCP 平台 ToolHive,试图将编码智能体从桌面迁移至云端统一管理。
华为徐直军称昇腾在中国市场份额已超英伟达,昇腾950超节点国内产能不足且无全面出海计划。该超节点基于华为发布的Peerium计算架构,实现数千至数万处理器协同。徐直军表示中国推动芯片和半导体价值链完全自给自足是不可避免的道路。
该方案利用 Amazon Bedrock AgentCore 运行时与开源智能体系统 OpenClaw,构建具备持久记忆能力的上下文感知 AI 助手。系统通过 Claude Haiku 4.5 处理文本、Claude Sonnet 4.5 处理视觉任务,采用按消耗计费模式,轻度个人使用月成本仅约 1-2 美元。整个架构封装在单个 AWS CloudFormation 模板中,支持一键部署。