跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

63 条精选近 30 天 13 条共收录 498 条

更新

大事记

重要进展

部署工程的精选

今天11月18日周三
  1. AWS Machine Learning Blog68

    AWS 讲解生成式 AI 成本优化:规则交给代码,判断交给模型

    AWS 发布教程,讲解如何在生成式 AI 工作流中先判断步骤是否需要模型,再按确定性代码、受约束决策调用和合适规模模型分流。文章用客服助手示例说明,格式检查、关键词快路径和固定队列选择可先于模型执行,开放生成任务再用 Amazon Bedrock 中满足要求的最小模型。

    推荐理由:原文给出一套先判断工作流步骤是否需要模型,再分流到规则、受约束决策调用和合适规模模型的成本优化方法。

  2. AWS Machine Learning Blog61

    ArisGlobal 如何在 Amazon Bedrock 上扩展生成式 AI 推理

    ArisGlobal 在 Amazon Bedrock 上通过前置并缓存共享提示词前缀,在不让成本按比例增长的情况下扩展多租户生成式 AI 推理。实现使用 Anthropic Claude Sonnet 4.5,此前共享前缀 6 个月增长约 150%,每案例推理成本增加超过 200%;调整后典型请求 65% 的输入 token 由缓存提供。

    推荐理由:原文用生产指标说明调整缓存对象能降低输入成本,并提供多租户场景下可迁移的请求排序和缓存监控经验。

11月17日周二
  1. AWS Machine Learning Blog63

    多智能体系统设计模式、反模式与制造经验分类

    AWS Machine Learning Blog 梳理了多智能体系统的确定性工作流、自主编排、混合架构、5 类反模式和制造场景选型约束。文中用 10 个步骤各 95 percent 可靠时端到端只有 59.9 percent、20 个步骤只有 35.8 percent 的例子说明依赖交接会放大风险。

    推荐理由:原文给出多智能体模式与反模式的分类和决策树,帮助读者按任务确定性、专业分工与风险边界选择最简架构。

11月16日周一
11月12日周四
  1. 量子位85

    Anthropic启动IPO路演,估值已缩水6000亿美元

    Anthropic正式启动IPO路演,拟以每股70—78美元发行8.25亿股,最高募资约643.5亿美元,估值较预期缩水6000亿美元至1.4万亿美元。三季度营收169.56亿美元但算力支出占收入58%,已签下约9000亿美元采购租赁承诺。同日Claude发布Sheets等办公产品,将Coding模式向知识工作场景复制。

    推荐理由:Anthropic启动IPO路演但估值较此前预期缩水约三成,反映全球AI板块近期面临的估值回调压力。

10月28日周三
  1. Hugging Face Blog63

    NVIDIA 发布 Nemotron 3.5 Transcribe 多语言语音转写模型与 Granary v2 数据管道

    NVIDIA 发布开放权重多语言语音转写模型 Nemotron 3.5 Transcribe 与 Granary v2 数据管道,支持40种语言转写、31种互译及13种语言说话人归属。

    推荐理由:NVIDIA开放权重多语言转写模型在多个基准领先,其开放的Granary v2数据管道和微调配方便于开发者适配领域词汇。

10月22日周四
  1. AWS Machine Learning Blog61

    AWS Deep Insight 如何解决多智能体系统的五大生产挑战

    AWS解决方案架构团队发文剖析其构建的开源多智能体系统Deep Insight,讲解它如何解决生产环境的五大核心挑战。系统基于Strands Agents SDK与Amazon Bedrock等构建,提供三种部署方式并已在GitHub开源。本文为三部分系列第一篇,后续将涵盖上下文工程与生产部署。

    推荐理由:AWS团队以自研Deep Insight为例,梳理生产环境多智能体系统的五大挑战与架构对策,为类似系统提供可复用的设计与部署参考。

10月21日周三
  1. Latent Space77

    DeepSeek 开源 DeepInfer 推理栈:单集群日处理 155T token,81 天回本

    DeepSeek 开源生产推理框架 DeepInfer,单集群日处理 155T token 且加速卡小时收入 38 美元。框架支持 NVIDIA SM100 与华为昇腾 950,vLLM 复现其解码吞吐差距在 6% 内;此次发布恰逢 PyTorch Conf,是闭源推理进展后的开源回应。

    推荐理由:本文汇总 DeepSeek 开源 DeepInfer 的推理架构与成本披露,并对照 vLLM 复现结果帮助读者理解开源推理栈的生产实现。

  2. Mistral AI65

    Mistral发布Voxtral 3语音模型与智能体SDK

    Mistral发布Voxtral 3语音模型家族与实时语音智能体SDK,支持50+语言转写和35+语言情感语音合成。该SDK基于LiveKit将听、推理、说整合为流式管道,每轮交互耗时低于1秒,支持通过Mistral欧盟API或自部署运行。模型包含Voxtral Small Transcribe 3等,批量转写价格低至$0.0035/min。

    推荐理由:Mistral发布Voxtral 3语音模型家族与实时智能体SDK,给出50+语言转写和私有部署选项,便于企业评估语音工作流改造。

10月20日周二
  1. Hugging Face Blog69

    PyTorch 2.15 发布 MPS 后端更新:Mac 支持 FP8 与模型解码加速

    PyTorch 2.15 为 Mac 的 MPS 后端带来 FP8 支持与专用 Metal 内核,MoE 模型解码较 2.14 提速 5–6.5 倍,Wan2.2 视频 VAE 解码显存从 270 GiB 降至 8 GiB。softmax 与线性代数运算也显著加快,并新增 Python 层 MPS 流控制。

    推荐理由:PyTorch 2.15 在 Mac 的 MPS 后端加入 FP8 与 Metal 内核,使 MoE 模型解码提速 5 至 6.5 倍,视频生成显存由 270 GiB 降至 8 GiB。

10月15日周四
10月14日周三
  1. AWS Machine Learning Blog65

    在Amazon Bedrock上用Grok 4.7构建长周期智能体

    AWS教程在Amazon Bedrock上用Grok 4.7构建长周期工具调用智能体,三个搜索任务72次运行答对67次。xhigh级别18次全对,low级别以约八分之一输出token答对15/18,文章给出了按请求设置推理努力与监控token用量的实践方法。

    推荐理由:原文给出了在Amazon Bedrock上构建Grok 4.7工具调用智能体并评测推理努力级别的方法,读者可迁移到自有任务做成本与质量调优。

10月13日周二
  1. IT之家76

    微软推出 Maia 300 自研 AI 芯片,明年拟部署超百万颗以降低算力成本

    微软发布新一代自研AI芯片Maia 300,并计划明年部署超百万颗用于支撑内部AI业务。该芯片采用chiplet架构,单机柜内置96颗、功耗约167千瓦,每兆瓦有效计算量比主流GPU系统高约40%。上一代Maia芯片已用于运行微软自研模型及Azure云平台上的OpenAI模型。

    推荐理由:报道介绍微软Maia 300自研AI芯片采用chiplet技术架构,并对比英伟达GB300机柜的芯片数与功耗,读者可借此评估其部署效率差异。

10月8日周四
  1. AWS Machine Learning Blog66

    Claude Haiku 5.5 登陆 AWS Amazon Bedrock 与 Claude Platform

    AWS 宣布 Claude Haiku 5.5 在 Amazon Bedrock 与 Claude Platform on AWS 上线,该模型为 Claude 5.5 系列最快且多数任务成本较 Haiku 4.5 低约75%。它支持 effort controls 与高分辨率图像,适合子代理与高吞吐编码等任务,可与近期发布的 Opus 5.5 组成规划与执行分工。

    推荐理由:Claude Haiku 5.5 较 Haiku 4.5 成本降约75%且支持 effort controls,读者可参考其在 AWS 子代理场景的性价比优势。

10月2日周五
9月29日周二
9月24日周四
  1. Microsoft Research62

    微软研究院:将物理 AI 推理卸载到边缘或云端可提升机器人性能与续航

    微软研究院对移动操作机器人工作负载做了系统性测量,发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU,可提升任务成功率、支持更大模型并延长续航。

    推荐理由:微软研究院系统测量了机器人端侧 GPU 推理的瓶颈,并给出可复用的卸载工具链,读者可据此判断物理 AI 的部署取舍。

© 2026 SI·Hot · Super Intelligence Hot · 超级智能热点 · 网站数据均来源于网络公开资料,版权归来源方所有