跳到正文

#部署/工程

今日 16 条
10月22日周四
  1. Hugging Face Blog51

    VocabX 如何通过专门化小语言模型词汇表在实际应用中降低 77% 推理成本

    Dharma-AI 在 Hugging Face Blog 发文预览 VocabX 方法,通过按 token 成本而非频率专门化词汇表,在 Qwen3-4B 葡萄牙语评分器上实测推理成本降低 77%。该方法保持基础模型不变,将输出层词汇从约 152,000 压缩至约 65,000,并在合同、代码等五类域对比中均优于参考方法。完整 VocabX 论文将于近期发布。

10月21日周三
  1. IT之家49

    英伟达 DGX Spark 支持 8 台集群:128GB 版本统一内存最高达 1TB,RTX PRO 6000 Blackwell 相关任务提速 40%

    英伟达在 GTC 2026 宣布 DGX Spark 支持手动配置最多 8 台设备组建集群,128GB 版本统一内存最高达 1TB。同时发布本地 AI 平台更新,与 llama.cpp、vLLM 合作优化推理性能,RTX PRO 6000 Blackwell 在特定工作负载下推理性能最高提升 40%。此前 DGX Spark 仅支持最多 4 台设备组建集群。

  2. IT之家45

    英伟达发布 AI“预制工厂”DSX POD:最快 14 天部署投产,计划 2027 年初全球交付

    英伟达在 GTC 大会上推出模块化 AI 工厂参考设计 DSX POD,面向 Vera Rubin 平台,计划 2027 年初通过合作伙伴全球交付。该方案将基础设施预集成至集装箱,在场地配套就绪时可将部署周期从约 6 个月缩短至最短 14 天。此举旨在缩短从现场准备到运行生产级 AI 工作负载的时间,使运营商能更早提供推理服务。

  3. The Decoder36

    Nvidia 发布 DSX POD 模块化数据中心参考设计,部署时间缩短至 14 天

    Nvidia 在 GTC Berlin 发布 DSX POD 模块化数据中心参考设计,基于 Vera Rubin 系统,将部署时间从六个月缩短至最少 14 天。该方案由 Dell、HPE 等合作伙伴在工厂预装并测试,现场仅需连接电力、冷却和网络,且闭环冷却系统可减少 100% 冷却水用量。首批设备计划于 2027 年初在全球发货。

  4. NVIDIA Blog29

    NVIDIA cuDSS 正式可用,加速工程与科学模拟

    NVIDIA 宣布 CUDA-X 库 cuDSS 正式可用,通过将大型稀疏系统求解迁移至 GPU 来加速工程与科学模拟。该库支持 C、C++、Python 和 Fortran 接口,可集成至现有软件,帮助开发者在更低成本下探索更大规模模型。Applied Materials 等合作伙伴已集成 cuDSS,在半导体及结构模拟中实现了最高 10 倍的速度提升。

  5. Latent Space77

    DeepSeek 开源 DeepInfer 推理栈:单集群日处理 155T token,81 天回本

    DeepSeek 开源生产推理框架 DeepInfer,单集群日处理 155T token 且加速卡小时收入 38 美元。框架支持 NVIDIA SM100 与华为昇腾 950,vLLM 复现其解码吞吐差距在 6% 内;此次发布恰逢 PyTorch Conf,是闭源推理进展后的开源回应。

    推荐理由:本文汇总 DeepSeek 开源 DeepInfer 的推理架构与成本披露,并对照 vLLM 复现结果帮助读者理解开源推理栈的生产实现。

  6. 量子位41

    是石科技发布 TokenFleet 分布式调度框架

    是石科技在 2026 CCF 全国高性能计算学术大会发布 TokenFleet 分布式调度框架,聚焦请求路由、跨机房容量协同与混合负载治理。基于 GLM5.3 的调优数据显示,采用预测延迟路由后 P95 首 Token 延迟降低 32.4%,P50 降低 71.3%。此前该公司已发布 Meta-Infer 引擎优化单实例效率,此次 TokenFleet 将优化重点推进至集群调度层面。

  7. AWS Machine Learning Blog33

    AWS Agent Registry 实现运行时工具发现

    AWS Agent Registry 提供托管服务,允许编排器在运行时通过语义搜索发现 MCP 服务器和 A2A 智能体,替代硬编码工具。该服务返回连接元数据但不含认证凭据,需通过独立路径获取。此机制解决了企业系统中工具数量激增导致的编排瓶颈,使新能力在注册审批后即可被动态调用。

  8. Mistral AI65

    Mistral发布Voxtral 3语音模型与智能体SDK

    Mistral发布Voxtral 3语音模型家族与实时语音智能体SDK,支持50+语言转写和35+语言情感语音合成。该SDK基于LiveKit将听、推理、说整合为流式管道,每轮交互耗时低于1秒,支持通过Mistral欧盟API或自部署运行。模型包含Voxtral Small Transcribe 3等,批量转写价格低至$0.0035/min。

    推荐理由:Mistral发布Voxtral 3语音模型家族与实时智能体SDK,给出50+语言转写和私有部署选项,便于企业评估语音工作流改造。

10月20日周二
  1. AWS Machine Learning Blog33

    Eon 如何利用 Amazon Bedrock AgentCore MCP Gateway 构建多云调查系统

    Eon 利用 Amazon Bedrock AgentCore 构建统一 MCP Gateway,替代分散的工具凭证与本地 MCP 进程,实现跨 AWS、GCP 和 Azure 的集中式访问。该方案将新工程师配置调查工具的时间从 2 天缩短至约 2 分钟,并通过 Cedar 策略实现最小权限控制。此前 Eon 需为每个工具单独配置凭证,且本地 MCP 服务器难以标准化维护。

  2. MIT Technology Review · AI21

    HPE Private Cloud AI 如何优化企业 AI 成本效益

    HPE Private Cloud AI 通过整合基础设施、模型与治理服务,将企业 AI 运营重点从单 token 成本转向有效成果成本。该平台利用调度、GPU 分区及 KV-cache 管理等手段提升利用率,在独立测试中显示高利用率下有效 token 成本低于按需租用。这标志着企业 AI 正从早期实验阶段转向需精细管理基础设施效率的基础设施化阶段。

  3. Hugging Face Blog69

    PyTorch 2.15 发布 MPS 后端更新:Mac 支持 FP8 与模型解码加速

    PyTorch 2.15 为 Mac 的 MPS 后端带来 FP8 支持与专用 Metal 内核,MoE 模型解码较 2.14 提速 5–6.5 倍,Wan2.2 视频 VAE 解码显存从 270 GiB 降至 8 GiB。softmax 与线性代数运算也显著加快,并新增 Python 层 MPS 流控制。

    推荐理由:PyTorch 2.15 在 Mac 的 MPS 后端加入 FP8 与 Metal 内核,使 MoE 模型解码提速 5 至 6.5 倍,视频生成显存由 270 GiB 降至 8 GiB。

  4. AWS Machine Learning Blog39

    AWS 推出新体验,SageMaker Studio 支持快速注册与 $100 免费额度

    AWS 宣布新 SageMaker Studio 用户可通过 Google、GitHub 等身份在 2-3 步内完成注册,无需信用卡即可在约 20 秒内进入预配置环境。新用户获得 $100 AWS Free Tier 额度,最高可达 $200,有效期 6 个月。此举配合此前 Hugging Face 一键部署功能,消除了开发者从发现模型到部署的主要障碍。

  5. AWS Machine Learning Blog25

    Amazon SageMaker JumpStart 2026 年迄今回顾

    Amazon SageMaker JumpStart 在 2026 年 1 月至 9 月间新增超过 100 个来自 30 家提供商的模型,显著扩展了目录规模。新增内容涵盖 NVIDIA Cosmos3 世界基础模型、多模态模型及量化模型,支持一键部署与 LoRA 等微调技术。此次扩容旨在满足客户对模型架构、规模及多模态能力的多样化需求。

  6. AWS Machine Learning Blog47

    TwelveLabs Pegasus 1.5 上线 Amazon Bedrock

    TwelveLabs 的视频语言模型 Pegasus 1.5 现已在 Amazon Bedrock 可用,支持将长视频转化为带时间戳的结构化 JSON 元数据。该版本单次请求可分析长达 2 小时的视频,并新增视频分段、多模态提示及无需预索引的即时处理功能。此前 Pegasus 1.2 仅支持 1 小时视频分析,此次升级显著扩展了处理容量。

© 2026 SI·Hot · Super Intelligence Hot · 超级智能热点 · 网站数据均来源于网络公开资料,版权归来源方所有