在 AWS Trainium 上使用 torchtitan 训练 Qwen3
在 AWS Trainium 上,torchtitan 通过 TorchNeuron 将 Trainium 注册为原生 PyTorch 设备,支持使用标准接口对 Qwen3 进行预训练或微调。
在 AWS Trainium 上,torchtitan 通过 TorchNeuron 将 Trainium 注册为原生 PyTorch 设备,支持使用标准接口对 Qwen3 进行预训练或微调。
Dharma-AI 在 Hugging Face Blog 发文预览 VocabX 方法,通过按 token 成本而非频率专门化词汇表,在 Qwen3-4B 葡萄牙语评分器上实测推理成本降低 77%。该方法保持基础模型不变,将输出层词汇从约 152,000 压缩至约 65,000,并在合同、代码等五类域对比中均优于参考方法。完整 VocabX 论文将于近期发布。
Hugging Face 发布教程,指导用户利用 TorchNeuron 在 AWS Trainium 上系统分析推理性能瓶颈。教程演示了配置 torch.profiler 捕获 Neuron 设备时间,并通过 Neuron Explorer 追踪操作从框架分发到硬件执行的全过程。
Hugging Face 发布教程,指导用户利用 TorchNeuron 在 AWS Trainium 上系统分析推理性能瓶颈。教程演示了配置 torch.profiler 捕获 Neuron 设备时间,并通过 Neuron Explorer 追踪操作从框架分发到硬件执行的全过程。
英伟达在 GTC 2026 宣布 DGX Spark 支持手动配置最多 8 台设备组建集群,128GB 版本统一内存最高达 1TB。同时发布本地 AI 平台更新,与 llama.cpp、vLLM 合作优化推理性能,RTX PRO 6000 Blackwell 在特定工作负载下推理性能最高提升 40%。此前 DGX Spark 仅支持最多 4 台设备组建集群。
英伟达在 GTC 大会上推出模块化 AI 工厂参考设计 DSX POD,面向 Vera Rubin 平台,计划 2027 年初通过合作伙伴全球交付。该方案将基础设施预集成至集装箱,在场地配套就绪时可将部署周期从约 6 个月缩短至最短 14 天。此举旨在缩短从现场准备到运行生产级 AI 工作负载的时间,使运营商能更早提供推理服务。
Nvidia 在 GTC Berlin 发布 DSX POD 模块化数据中心参考设计,基于 Vera Rubin 系统,将部署时间从六个月缩短至最少 14 天。该方案由 Dell、HPE 等合作伙伴在工厂预装并测试,现场仅需连接电力、冷却和网络,且闭环冷却系统可减少 100% 冷却水用量。首批设备计划于 2027 年初在全球发货。
微软计划于 2027 年 1 月为 Edge 浏览器内置 PDF 阅读器新增页面提取、删除、旋转、重排及多文档合并功能。所有处理均在用户设备本地完成,不上传云端,且企业 IT 管理员可通过策略控制该功能可用性。
NVIDIA 宣布 CUDA-X 库 cuDSS 正式可用,通过将大型稀疏系统求解迁移至 GPU 来加速工程与科学模拟。该库支持 C、C++、Python 和 Fortran 接口,可集成至现有软件,帮助开发者在更低成本下探索更大规模模型。Applied Materials 等合作伙伴已集成 cuDSS,在半导体及结构模拟中实现了最高 10 倍的速度提升。
NVIDIA CEO Jensen Huang在GTC Berlin 2026 keynote上公布DSX POD模块化AI工厂、OpenShell安全智能体架构与Agent Knowledge Foundation等知识层工具。
推荐理由:NVIDIA推出DSX POD等模块化AI工厂参考设计,将部署周期从六个月压缩到14天,为欧洲企业参与AI经济提供基建方案。
DeepSeek 开源生产推理框架 DeepInfer,单集群日处理 155T token 且加速卡小时收入 38 美元。框架支持 NVIDIA SM100 与华为昇腾 950,vLLM 复现其解码吞吐差距在 6% 内;此次发布恰逢 PyTorch Conf,是闭源推理进展后的开源回应。
推荐理由:本文汇总 DeepSeek 开源 DeepInfer 的推理架构与成本披露,并对照 vLLM 复现结果帮助读者理解开源推理栈的生产实现。
Mistral 发布 Voxtral 3 语音模型家族与语音智能体 SDK,将听写、推理、工具调用与语音合成整合为实时流管道。Voxtral Small Transcribe 3 支持50多种语言,在45语言基准上错误率4.1%匹配微软 AI Transcribe 2 并超越 Gemini 3.5 Transcribe 等。
是石科技在 2026 CCF 全国高性能计算学术大会发布 TokenFleet 分布式调度框架,聚焦请求路由、跨机房容量协同与混合负载治理。基于 GLM5.3 的调优数据显示,采用预测延迟路由后 P95 首 Token 延迟降低 32.4%,P50 降低 71.3%。此前该公司已发布 Meta-Infer 引擎优化单实例效率,此次 TokenFleet 将优化重点推进至集群调度层面。
SpaceX第三季度AI资本开支达164亿美元再创新高,AI业务收入76亿美元首次超过星链收入52亿美元。公司预计资本开支将增至350亿至400亿美元,AI基建瓶颈在供电与散热而非芯片。算力租赁请求应接不暇,客户包括Anthropic和谷歌,此为SpaceX第二份财报。
谷歌当地时间周二开源原生PyTorch框架TorchTPU,现有应用仅需改配置即可迁移到TPU与谷歌云,无需重写代码。亚马逊周一发布类似TorchNeuron,谷歌还推TPU智能体套件与升级LiteRT,联合Meta、Hugging Face等保证兼容主流工具。两家公司正尝试打破英伟达在人工智能行业的垄断。
i14 利用 TorchNeuron Native 在 AWS Trainium2 上训练和部署 Laplace 3B 线性注意力模型,其递归状态固定为 29.5 MB,不随上下文长度增长。
SpaceX 的 AI 业务(含 Grok agents、neocloud 等)超出预期,AI 现占其收入 52% 且 Q3 净利达 44 亿美元。公司 Q3 营收 146 亿美元,资本支出 196 亿美元建设 Colossus II 等数据中心,算力达 1.7 GW。
Deepseek 开源推理框架 DeepInfer 与 deepseek-recipe,用于其 V4.1-Flash 等模型的低成本高速部署。DeepInfer 基于 vLLM 并优化计算内核与多芯片分布式处理,未来模型代码也将开源。公司称旨在降低社区算力成本,同时给 OpenAI 和 Anthropic 等西方厂商增添定价压力。
周二 Google 宣布开源 TorchTPU,使 PyTorch 应用无需重写即可迁移至其 TPU 芯片与 Google Cloud,加入 Amazon 对抗 Nvidia 的行列。
Octave 在 Amazon Bedrock 上构建了基于 Cohere Embed v4 的三层多租户 AI 基础,将每个用例的部署时间缩短了 50%。
AWS 团队在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B,使多语言推理语言正确率从 22% 升至 100%。SFT 教会模型按指令用目标语言推理,叠加 GRPO 后将答案语言正确率从 62% 提升至 70%。对照 Qwen2.5-7B 实验显示 GRPO 仅在存在能力缺口时带来增益,GSM8K 上无提升。
AWS 与 Keyfactor 联合发布参考架构,利用 X.509 PKI 解决 AI 智能体在 MCP 环境下的身份认证缺失问题。该方案结合 Keyfactor EJBCA 与 Amazon Bedrock,通过签名请求信封、委托断言及 OCSP 实时吊销机制,实现零信任下的智能体身份验证与权限控制。
AWS Agent Registry 提供托管服务,允许编排器在运行时通过语义搜索发现 MCP 服务器和 A2A 智能体,替代硬编码工具。该服务返回连接元数据但不含认证凭据,需通过独立路径获取。此机制解决了企业系统中工具数量激增导致的编排瓶颈,使新能力在注册审批后即可被动态调用。
Amazon Bedrock 加拿大区域现可通过跨区推理访问 OpenAI GPT-5.6、GPT-6 及 GPT-6.1 系列模型。这些模型支持 100 万 token 上下文窗口、推理模式及工具调用,并兼容 OpenAI Responses API 与 Bedrock Converse API。推理请求由北美区域处理,用户无需在应用中管理目标区域路由。
Mistral发布Voxtral 3语音模型家族与实时语音智能体SDK,支持50+语言转写和35+语言情感语音合成。该SDK基于LiveKit将听、推理、说整合为流式管道,每轮交互耗时低于1秒,支持通过Mistral欧盟API或自部署运行。模型包含Voxtral Small Transcribe 3等,批量转写价格低至$0.0035/min。
推荐理由:Mistral发布Voxtral 3语音模型家族与实时智能体SDK,给出50+语言转写和私有部署选项,便于企业评估语音工作流改造。
Hugging Face 发布 TorchTPU,一个原生 PyTorch 后端,让 TPU 成为 PyTorch 的普通设备,Hugging Face 生态的 Transformers、Diffusers 和 Kernels 均可原生运行于 TPU。
推荐理由:PyTorch用户过去需借助torch_xla或JAX才能用TPU,TorchTPU原生后端让Hugging Face模型指定tpu设备即可运行,简化部署流程。
AWS 演示了利用 AtScale 和 Amazon Bedrock AgentCore 构建 Agentic AI 语义层的方法,采用 Anthropic Claude Sonnet 4.6 作为基础模型。
AWS 演示了利用 Denodo 平台与 Amazon Bedrock AgentCore 构建 Agentic AI 语义层的方法,实现了对 Amazon Aurora、Amazon Redshift 及本地 PostgreSQL 的联邦查询。
Eon 利用 Amazon Bedrock AgentCore 构建统一 MCP Gateway,替代分散的工具凭证与本地 MCP 进程,实现跨 AWS、GCP 和 Azure 的集中式访问。该方案将新工程师配置调查工具的时间从 2 天缩短至约 2 分钟,并通过 Cedar 策略实现最小权限控制。此前 Eon 需为每个工具单独配置凭证,且本地 MCP 服务器难以标准化维护。
HPE Private Cloud AI 通过整合基础设施、模型与治理服务,将企业 AI 运营重点从单 token 成本转向有效成果成本。该平台利用调度、GPU 分区及 KV-cache 管理等手段提升利用率,在独立测试中显示高利用率下有效 token 成本低于按需租用。这标志着企业 AI 正从早期实验阶段转向需精细管理基础设施效率的基础设施化阶段。
PyTorch 2.15 为 Mac 的 MPS 后端带来 FP8 支持与专用 Metal 内核,MoE 模型解码较 2.14 提速 5–6.5 倍,Wan2.2 视频 VAE 解码显存从 270 GiB 降至 8 GiB。softmax 与线性代数运算也显著加快,并新增 Python 层 MPS 流控制。
推荐理由:PyTorch 2.15 在 Mac 的 MPS 后端加入 FP8 与 Metal 内核,使 MoE 模型解码提速 5 至 6.5 倍,视频生成显存由 270 GiB 降至 8 GiB。
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源,并同步开源 deepseek-recipe 组件。该框架支持分布式推理、推测解码与结构化输出,兼容英伟达与华为昇腾平台,已支撑 DeepSeek V4.1 Flash 高吞吐低延迟服务,开源地址 https://github.com/deepseek-ai/DeepInfer。
亚马逊推出开源工具 TorchNeuron,使 PyTorch 代码无需重写即可在自研 Trainium 芯片上本地运行。测试显示,在 Trainium 与传统芯片上运行相同 AI 训练脚本,模型学习结果与速度完全一致。此举旨在打破英伟达 CUDA 的垄断,为开发者提供跨芯片自由切换的选择权。
AWS 宣布新 SageMaker Studio 用户可通过 Google、GitHub 等身份在 2-3 步内完成注册,无需信用卡即可在约 20 秒内进入预配置环境。新用户获得 $100 AWS Free Tier 额度,最高可达 $200,有效期 6 个月。此举配合此前 Hugging Face 一键部署功能,消除了开发者从发现模型到部署的主要障碍。
Amazon SageMaker JumpStart 在 2026 年 1 月至 9 月间新增超过 100 个来自 30 家提供商的模型,显著扩展了目录规模。新增内容涵盖 NVIDIA Cosmos3 世界基础模型、多模态模型及量化模型,支持一键部署与 LoRA 等微调技术。此次扩容旨在满足客户对模型架构、规模及多模态能力的多样化需求。
AWS发布TorchNeuron开发工具,让基于PyTorch的AI应用仅需修改一行配置即可运行在自研Trainium芯片上。AWS同时向PyTorch上游贡献代码以解除框架对特定芯片的绑定,试图削弱Nvidia的软件锁定优势。
Hugging Face 发布 TorchNeuron 公开 Beta,为 PyTorch 提供 AWS Trainium 原生后端,使 Transformers、Diffusers 等库直接支持 Trainium。
TwelveLabs 的视频语言模型 Pegasus 1.5 现已在 Amazon Bedrock 可用,支持将长视频转化为带时间戳的结构化 JSON 元数据。该版本单次请求可分析长达 2 小时的视频,并新增视频分段、多模态提示及无需预索引的即时处理功能。此前 Pegasus 1.2 仅支持 1 小时视频分析,此次升级显著扩展了处理容量。
vLLM 引入双向 KV 传输机制,允许 Decode 节点将已计算的 KV 缓存回传至 Prefill 节点,避免多轮对话中重复计算上下文。在 Amazon EC2 P5en 实例的基准测试中,该功能使 Qwen3-32B 的 TTFT 降低最高 1.6 倍,zai-org/GLM-5-FP8 降低最高 3.3 倍。
vLLM 引入基于推送的 NIXL 连接器,将 KV 传输协调移出关键路径,从而降低首 token 延迟(TTFT)和每输出 token 时间(TPOT)。在 Amazon EC2 P5en 实例上对 Qwen3-32B 模型的基准测试显示,相比拉取模式,推送模式 TTFT 提升最高达 3 倍,TPOT 改善最高达 30%。