AWS 讲解生成式 AI 成本优化:规则交给代码,判断交给模型
AWS 发布教程,讲解如何在生成式 AI 工作流中先判断步骤是否需要模型,再按确定性代码、受约束决策调用和合适规模模型分流。文章用客服助手示例说明,格式检查、关键词快路径和固定队列选择可先于模型执行,开放生成任务再用 Amazon Bedrock 中满足要求的最小模型。
推荐理由:原文给出一套先判断工作流步骤是否需要模型,再分流到规则、受约束决策调用和合适规模模型的成本优化方法。
技术方向
把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。
63 条精选近 30 天 13 条共收录 498 条
AWS 发布教程,讲解如何在生成式 AI 工作流中先判断步骤是否需要模型,再按确定性代码、受约束决策调用和合适规模模型分流。文章用客服助手示例说明,格式检查、关键词快路径和固定队列选择可先于模型执行,开放生成任务再用 Amazon Bedrock 中满足要求的最小模型。
推荐理由:原文给出一套先判断工作流步骤是否需要模型,再分流到规则、受约束决策调用和合适规模模型的成本优化方法。
ArisGlobal 在 Amazon Bedrock 上通过前置并缓存共享提示词前缀,在不让成本按比例增长的情况下扩展多租户生成式 AI 推理。实现使用 Anthropic Claude Sonnet 4.5,此前共享前缀 6 个月增长约 150%,每案例推理成本增加超过 200%;调整后典型请求 65% 的输入 token 由缓存提供。
推荐理由:原文用生产指标说明调整缓存对象能降低输入成本,并提供多租户场景下可迁移的请求排序和缓存监控经验。
AWS Machine Learning Blog 梳理了多智能体系统的确定性工作流、自主编排、混合架构、5 类反模式和制造场景选型约束。文中用 10 个步骤各 95 percent 可靠时端到端只有 59.9 percent、20 个步骤只有 35.8 percent 的例子说明依赖交接会放大风险。
推荐理由:原文给出多智能体模式与反模式的分类和决策树,帮助读者按任务确定性、专业分工与风险边界选择最简架构。
Hugging Face 将 Inference Providers 的语言模型请求切换到 OpenRouter,用户可用同一 Hugging Face token 和 API 调用 Hub 上由服务商承载的开放权重模型。
推荐理由:文章把语言模型请求的路由变化、可观测入口和自定义密钥限制放在一起,读者可据此判断现有工作流需要怎样调整。
Jensen Huang 已辞去 Nvidia CEO,TechCrunch 的 Equity 播客复盘了辞职经过及其对 AI 经济的影响。
推荐理由:材料把这次人事变动放进 Nvidia 与 AI 投资和算力基础设施的关联中,帮助读者理解生态连锁反应。
Anthropic正式启动IPO路演,拟以每股70—78美元发行8.25亿股,最高募资约643.5亿美元,估值较预期缩水6000亿美元至1.4万亿美元。三季度营收169.56亿美元但算力支出占收入58%,已签下约9000亿美元采购租赁承诺。同日Claude发布Sheets等办公产品,将Coding模式向知识工作场景复制。
推荐理由:Anthropic启动IPO路演但估值较此前预期缩水约三成,反映全球AI板块近期面临的估值回调压力。
NVIDIA 发布开放权重多语言语音转写模型 Nemotron 3.5 Transcribe 与 Granary v2 数据管道,支持40种语言转写、31种互译及13种语言说话人归属。
推荐理由:NVIDIA开放权重多语言转写模型在多个基准领先,其开放的Granary v2数据管道和微调配方便于开发者适配领域词汇。
AWS解决方案架构团队发文剖析其构建的开源多智能体系统Deep Insight,讲解它如何解决生产环境的五大核心挑战。系统基于Strands Agents SDK与Amazon Bedrock等构建,提供三种部署方式并已在GitHub开源。本文为三部分系列第一篇,后续将涵盖上下文工程与生产部署。
推荐理由:AWS团队以自研Deep Insight为例,梳理生产环境多智能体系统的五大挑战与架构对策,为类似系统提供可复用的设计与部署参考。
NVIDIA CEO Jensen Huang在GTC Berlin 2026 keynote上公布DSX POD模块化AI工厂、OpenShell安全智能体架构与Agent Knowledge Foundation等知识层工具。
推荐理由:NVIDIA推出DSX POD等模块化AI工厂参考设计,将部署周期从六个月压缩到14天,为欧洲企业参与AI经济提供基建方案。
DeepSeek 开源生产推理框架 DeepInfer,单集群日处理 155T token 且加速卡小时收入 38 美元。框架支持 NVIDIA SM100 与华为昇腾 950,vLLM 复现其解码吞吐差距在 6% 内;此次发布恰逢 PyTorch Conf,是闭源推理进展后的开源回应。
推荐理由:本文汇总 DeepSeek 开源 DeepInfer 的推理架构与成本披露,并对照 vLLM 复现结果帮助读者理解开源推理栈的生产实现。
Mistral发布Voxtral 3语音模型家族与实时语音智能体SDK,支持50+语言转写和35+语言情感语音合成。该SDK基于LiveKit将听、推理、说整合为流式管道,每轮交互耗时低于1秒,支持通过Mistral欧盟API或自部署运行。模型包含Voxtral Small Transcribe 3等,批量转写价格低至$0.0035/min。
推荐理由:Mistral发布Voxtral 3语音模型家族与实时智能体SDK,给出50+语言转写和私有部署选项,便于企业评估语音工作流改造。
Hugging Face 发布 TorchTPU,一个原生 PyTorch 后端,让 TPU 成为 PyTorch 的普通设备,Hugging Face 生态的 Transformers、Diffusers 和 Kernels 均可原生运行于 TPU。
推荐理由:PyTorch用户过去需借助torch_xla或JAX才能用TPU,TorchTPU原生后端让Hugging Face模型指定tpu设备即可运行,简化部署流程。
PyTorch 2.15 为 Mac 的 MPS 后端带来 FP8 支持与专用 Metal 内核,MoE 模型解码较 2.14 提速 5–6.5 倍,Wan2.2 视频 VAE 解码显存从 270 GiB 降至 8 GiB。softmax 与线性代数运算也显著加快,并新增 Python 层 MPS 流控制。
推荐理由:PyTorch 2.15 在 Mac 的 MPS 后端加入 FP8 与 Metal 内核,使 MoE 模型解码提速 5 至 6.5 倍,视频生成显存由 270 GiB 降至 8 GiB。
Mistral 发布首个时间序列基础模型家族 Timestral,其 209M 参数版本在 GIFT-Eval、TIME 和 fev-bench 三项基准均排名第一。
推荐理由:原文显示209M参数模型在三项公开基准均超越更大规模对手,读者可对比精度与算力门槛评估其边缘部署适用场景。
AWS教程在Amazon Bedrock上用Grok 4.7构建长周期工具调用智能体,三个搜索任务72次运行答对67次。xhigh级别18次全对,low级别以约八分之一输出token答对15/18,文章给出了按请求设置推理努力与监控token用量的实践方法。
推荐理由:原文给出了在Amazon Bedrock上构建Grok 4.7工具调用智能体并评测推理努力级别的方法,读者可迁移到自有任务做成本与质量调优。
微软发布新一代自研AI芯片Maia 300,并计划明年部署超百万颗用于支撑内部AI业务。该芯片采用chiplet架构,单机柜内置96颗、功耗约167千瓦,每兆瓦有效计算量比主流GPU系统高约40%。上一代Maia芯片已用于运行微软自研模型及Azure云平台上的OpenAI模型。
推荐理由:报道介绍微软Maia 300自研AI芯片采用chiplet技术架构,并对比英伟达GB300机柜的芯片数与功耗,读者可借此评估其部署效率差异。
AWS 宣布 Claude Haiku 5.5 在 Amazon Bedrock 与 Claude Platform on AWS 上线,该模型为 Claude 5.5 系列最快且多数任务成本较 Haiku 4.5 低约75%。它支持 effort controls 与高分辨率图像,适合子代理与高吞吐编码等任务,可与近期发布的 Opus 5.5 组成规划与执行分工。
推荐理由:Claude Haiku 5.5 较 Haiku 4.5 成本降约75%且支持 effort controls,读者可参考其在 AWS 子代理场景的性价比优势。
NVIDIA 推出 DGX Spark 的 64GB 统一内存版本,10 月 23 日起由 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 开售,起售价 4,999 美元。
推荐理由:64GB 版本以 4,999 美元起售并支持双机集群,读者可据此判断本地智能体的内存容量与成本边界。
AWS 宣布 Claude Sonnet 5.5 在 Amazon Bedrock 和 Claude Platform on AWS 上可用,定位为面向编码与知识工作的更高效 Sonnet 模型,多数任务单任务成本更低、速度更快。
推荐理由:AWS 官方给出 Sonnet 5.5 的适用边界与 Opus 5.5 的分工,读者可据此判断何时选 Sonnet。
微软研究院对移动操作机器人工作负载做了系统性测量,发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU,可提升任务成功率、支持更大模型并延长续航。
推荐理由:微软研究院系统测量了机器人端侧 GPU 推理的瓶颈,并给出可复用的卸载工具链,读者可据此判断物理 AI 的部署取舍。