跳到正文
原文
AWS Machine Learning Blog· Meghan Kothari·· 2 小时前

AWS 讲解生成式 AI 成本优化:规则交给代码,判断交给模型

Cut generative AI costs: Code for rules, models for judgment

SI 导读

AWS 发布教程,讲解如何在生成式 AI 工作流中先判断步骤是否需要模型,再按确定性代码、受约束决策调用和合适规模模型分流。文章用客服助手示例说明,格式检查、关键词快路径和固定队列选择可先于模型执行,开放生成任务再用 Amazon Bedrock 中满足要求的最小模型。

精选SI 评分68
推荐理由

原文给出一套先判断工作流步骤是否需要模型,再分流到规则、受约束决策调用和合适规模模型的成本优化方法。

正文 · SI 翻译

生成式 AI 系统中最大的成本杠杆在于是否调用模型。我们经常看到团队将每个任务都通过大型语言模型(LLM)进行路由,包括输入验证、格式化和路由。单独来看,每次调用的成本都很低,但在生产规模下,这些小额成本会成为架构中最大的支出项目之一。在任何可以使用确定性规则完成工作的地方,跳过模型调用都能节省成本、降低延迟并消除一个非确定性来源。在这篇文章中,您将学习如何决定工作流中的每个步骤是否需要模型。然后,您可以将每个选项映射到 AWS:确定性代码、受限决策调用,或 Amazon Bedrock 上规模合适的模型。

为什么不必要的模型调用会累积

这种模式通常始于原型阶段。模型调用在某一步骤中有效,因此它成为下一步骤的默认选择。这些步骤包括验证输入、重新格式化请求体以及选择路由。在原型阶段的流量下,没有人会注意到成本。

在生产流量下,不必要的模型调用会在三个方面增加您的成本:

  • 支出随请求数量增长,即使对于低价值步骤也是如此。
  • 延迟会叠加,因为链中的每次模型调用都会增加数百毫秒。
  • 输出可能会变化,因为相同的输入可能返回不同的答案。这使得测试更加困难,审计速度变慢。

每次新的模型发布都会重新开始关于使用哪个模型的辩论。而之前的问题——该步骤是否真的需要模型——往往被忽略。

成本指南,包括 AWS Well-Architected Generative AI Lens,通常从模型选择开始。这篇文章从更早一步开始:该步骤是否需要模型?

如何决定一个步骤是否需要模型

图 1 以流程图的形式展示了整个决策过程,包含三个标记的通道:作为代码运行、问题,以及作为模型运行。按顺序将工作流的每个步骤通过三个问题,并在满足步骤要求的第一个选项处停止:

  1. 规则能否检查成功,例如格式、架构、关键字或范围?如果规则只能解决步骤的一部分,快速路径会先运行规则。
  2. 模型能否一次性编写规则,例如正则表达式或 JSON 架构?
  3. 该步骤是否从固定列表中选择一个答案,例如路由、类别或“是/否”?

如果这三个问题的答案都是否,则该步骤是开放式的,并在规模合适的模型上运行。

Flowchart that sorts a workflow step into code, a constrained decision call, or a right-sized Amazon Bedrock model

图 1:决定工作流步骤是否需要模型,以及需要哪种模型

考虑一个客户支持助手。下表展示了其五个步骤如何通过该图表。

# 步骤 通过图表的路径 运行位置
1 检查订单号的格式 规则可以检查成功。 Amazon API Gateway REST API 请求验证,或 AWS Lambda 函数
2 按意图路由消息 规则解决了其中一部分。快速路径上的关键字匹配可以解决诸如“退款”之类的消息,剩余部分进入第三个问题。 使用 JSONata 的 AWS Step Functions Choice 状态。剩余部分进入受限决策调用。
3 从承运人邮件中提取追踪号 模型可以一次性编写规则。它起草一个正则表达式,您对其进行审查并提交。 代码,作为 AWS Lambda 中已提交的模式
4 为工单选择四个支持队列之一 答案来自固定列表。 受限决策调用。不确定的答案升级至规模合适的模型。
5 起草给客户的回复 任务是开放式的。 尺寸合适的模型,即满足要求的 Amazon Bedrock 最小模型

当任务具有开放性、模糊性或生成性时,您可以使用模型:例如总结文档、起草回复或从散文中提取含义。当任务具有可检查的规则时,请使用确定性代码:例如电子邮件格式、模式、精确关键字或数值范围。下表显示了当您将规则形状的任务发送给模型时所放弃的内容。

属性 确定性代码 模型调用
每次调用成本 通常低几个数量级 按令牌计费,在大规模下并非微不足道
延迟 个位数毫秒或更少 数百毫秒
针对明确定义的规则的准确性 对于所写规则是精确的 很高,但存在非零错误率
可审计性 规则位于源代码控制中 更难向审计员解释
随时间的行为 在您更改之前保持稳定 当您迁移到新模型版本或某个版本退役时发生变化

模型还可能会产生幻觉并对相同输入返回不同的答案。温度为 0 会使多样化的答案可能性降低,但不能保证输出完全相同。Amazon Bedrock 模型评估 和 Amazon Bedrock 护栏 有助于您衡量和控制这些风险。规则没有这些问题,这是受监管工作负载偏好规则的原因之一。一个有用的测试:如果您可以将验收测试编写为规则,通常就可以将该步骤编写为规则。有关更多信息,请参阅 AWS 规范性指导中的 编排模型:从基于规则到 AI 原生。

决策,而非生成

大多数路由和分类步骤位于规则和开放式生成之间。规则无法决定所有情况,但这些步骤也不需要生成的文本。它们需要从您预先定义的固定选项列表中选择一个答案,就像前一个示例中的支持队列一样。使用一个将输出限制为允许答案的组件,并在需要升级时为您提供信号。自信的答案继续处理,不确定的答案则升级。AWS 架构良好代理式 AI 视角描述了这种分层、基于置信度的升级。在 AWS 上,您可以通过四种方式构建它:

  • 带有结构化输出的小型 Amazon Bedrock 模型 – 答案限制为 enum 选项,外加一个触发升级的“不确定”选项。这是模型自身的判断,而非校准分数,因此在使用它决定升级之前,请对照标记数据进行检查。
  • 嵌入相似度 – 使用 Amazon Bedrock 嵌入模型对输入进行嵌入,并选择最近的标记示例。使用相似度分数作为升级信号,并在标记数据上设置其阈值。
  • Strands Decider,一个在 Apache License 2.0 下的实验性开源决策模型 – 它从选项中选择或根据评分标准进行评分,并为每个答案返回校准的置信度。其 README 报告称,在短分类任务中,置信度为 0.9 或更高的答案大约 95% 的时间是正确的。由于该模型是实验性的,请在生产环境中使用之前,在您的数据上验证该结果。您可以自行托管它,例如在 Amazon SageMaker AI 端点上,遵循其仓库中的部署指南。
  • 在 Amazon SageMaker AI 上训练的分类器 – 一旦拥有带标签的训练数据,它就能以低延迟和低成本返回类别概率。

以下 JSON 架构将结构化输出答案限制为四个队列加上“unsure”。Amazon Bedrock 要求架构中的每个对象都将 additionalProperties 设置为 false。

{
  "type": "object",
  "properties": {
    "queue": {
      "type": "string",
      "enum": ["billing", "technical", "account", "other", "unsure"]
    }
  },
  "required": ["queue"],
  "additionalProperties": false
}

无论您选择哪种选项,请将其升级信号与您自己的带标签数据进行比对,并在那里设置任何阈值。将授权决策(例如退款限额)保留在规则中。

确定性快速路径模式

许多成本模式侧重于模型之间的路由。快速路径提前了一层:先运行确定性检查,仅将规则无法解决的内容发送给模型。意图路由就是一个例子。许多消息包含明确的信号,例如“refund”或“reset my password”,关键字匹配可以在个位数毫秒或更短的时间内解决。如果规则解决了 95% 的请求,那么只有 1/20 的请求会到达模型,这发生在任何来自模型选择的节省之前。(示例算术,非基准测试。)

在 AWS 上,您可以使用现有的构建模块来组合此功能:

  • AWS Step Functions Choice 状态在工作流调用任何模型之前进行分支。
  • AWS Lambda 托管需要比 Choice 状态更多的规则,例如验证和架构检查。
  • Amazon API Gateway (REST API) 请求验证在任何计算运行之前拒绝格式错误的输入。
  • 受限的决策调用或 Amazon Bedrock 模型仅处理剩余部分。

以下 Choice 状态是关键字快速路径。它使用 JSONata 将退款和密码重置消息直接发送到代码,并将其他所有内容发送到受限的决策调用。

"KeywordFastPath": {
  "Type": "Choice",
  "QueryLanguage": "JSONata",
  "Choices": [
    {
      "Condition": "{% $contains($states.input.message, /refund/i) %}",
      "Next": "RefundFlow"
    },
    {
      "Condition": "{% $contains($states.input.message, /reset (my )?password/i) %}",
      "Next": "PasswordResetFlow"
    }
  ],
  "Default": "ConstrainedDecisionCall"
}

您也可以让模型只编写一次规则,而不是每次都运行它。让它起草一个正则表达式或 JSON 架构,审查它,然后提交它。在运行时,规则以规则的速度和成本运行。审查模型编写的正则表达式,并针对已知的良好和恶意输入进行测试。避免使用嵌套量词,例如 (a+)+,这可能会使某些输入上的匹配变得非常缓慢(正则表达式拒绝服务,或 ReDoS)。

当您确实生成时,Amazon Bedrock 结构化输出将响应限制为您定义的 JSON 架构。响应随后匹配该架构,因此您的代码可以解析它而无需自定义解析逻辑(检查内容以确认正确性)。将范围检查(例如数值边界和长度限制)保留在代码中。有关支持的模型和架构功能,请参阅 从模型获取经过验证的 JSON 结果。

如果您的规则位于配置中,请仅允许已知的原语,例如正则表达式、架构检查、关键字列表和范围检查。切勿从配置文件运行任意代码。

当您确实需要模型时,调整其规模

选择满足您质量下限的最便宜、最快的模型。这通常不是最新或最大的模型。Generative AI Lens 在其关于 模型选择规模调整 的最佳实践中涵盖了这一点。Amazon Bedrock 的有效成本优化策略 对此进行了深入介绍。在比较模型之前定义需求:

  • 质量下限: 在黄金评估集(具有已知正确答案的任务带标签示例)上测量的最低可接受输出质量。
  • 成本上限: 您为每个请求或每个成功结果支付的最多金额。
  • 延迟目标: 体验可以容忍的 p95 或 p99 响应时间。
  • 合规约束: 例如数据驻留等可能排除候选项的要求。

Amazon Bedrock 通过一个 API 提供多种模型家族和尺寸,因此您可以在不更改集成的情况下为每个任务选择合适的规模。Amazon Bedrock 智能提示路由 将每个请求路由到受支持的模型家族内合适的模型。Amazon Bedrock 模型蒸馏 将知识从较大的模型转移到针对您的用例更小、更便宜的模型。模型提供商会在广泛的基准测试上评估新的前沿模型,但您的工作负载是一个具有特定质量下限的任务。较大的模型可能会增加成本和延迟,而不会改进该任务。在切换之前,请根据您的需求评估每次发布,例如在您的黄金评估集上的质量以及您的延迟目标。

将模型选择视为经过测试的配置

生成式 AI 透镜建议针对您的真实数据测试候选模型,并具备快速更新模型的方法。更进一步,将这一决策视为经过测试的配置:

  • 为每个任务保留一个带有标注真实数据的黄金评估集,并在持续集成中运行它。
  • 根据您的要求进行把关。将低于质量下限的更便宜模型视为回归。
  • 将模型置于配置标志之后,以便您可以撤销切换。
  • 使用正确的预言机进行验证。针对真实数据检查规则。将模型作为评判者的评估保留给开放式输出。
  • 注意漂移。以影子模式通过模型采样一些由规则解决的请求,并在它们不一致时重新分类该步骤。

付诸实践

将模型容量用于需要判断的地方,其他地方则不使用。您可以通过四个步骤实现:

  1. 插桩 – 将每次调用标记为确定性代码、受限决策调用或模型调用。跟踪每个成功结果的开销。
  2. 将规则移至代码 – 在 AWS Lambda 或 AWS Step Functions 上运行可规则检查的步骤。这通常是最安全且收益最大的改进。
  3. 添加受限决策调用 – 通过一个在不确定时升级的调用路由固定选项步骤。
  4. 在切换模型之前进行测试 – 在成为默认选项之前,将每个新模型通过您的黄金评估集运行。

结论

在本文中,您学习了如何决定工作流步骤是否需要模型。规则属于确定性代码,固定选项属于受限决策调用。开放式工作交给规模合适的 Amazon Bedrock 模型。目标是以您的质量下限允许的最低成本和延迟满足每个要求。在询问使用哪个模型之前,先询问该步骤是否需要模型。

如需更多信息,请参阅 AWS 人工智能博客上的这些文章:

若要尝试受限决策调用,请打开 Amazon Bedrock 控制台,或从其 GitHub 仓库 部署 Strands Decider。

从一个高流量的工作流开始,并测量其中有多少部分根本不需要模型。


作者简介

Meghan Kothari

Meghan Kothari

Megah 是客户体验与商业趋势团队的高级技术产品经理,他与 AWS 领导层合作进行战略深度分析,以发现由代理式 AI 驱动的应用开发与现代化中不断演变的趋势。他作为解决方案架构师和全栈开发者的背景,为他提供了独特的实践视角,有助于塑造开发者体验。

Krishna Aswani

Krishna Aswani

Krishna 是亚马逊的高级应用科学家,拥有十余年构建生产环境机器学习系统的经验。他的工作涵盖计算机视觉、自然语言处理、生成式建模和大语言模型。在亚马逊,他构建代理式架构,并领导关于结构化推理框架的研究,使大语言模型更可靠、更可解释。在之前的职业生涯中,他的研究专注于神经计算和生物物理学。与牛津大学和日本国立材料研究所(NIMS)合作,他构建了模拟器和测量系统,以了解信息如何在脑微管中传播,包括量子效应在这些生物结构中可能扮演的角色。

Pranav Patankar

Pranav Patankar

Pranav 是客户体验与商业趋势团队的科学与工程经理,他与 AWS 领导层合作改进 AWS 上的开发者体验。他的研究专注于增强大语言模型和 AI 代理的推理能力,并使其更值得信赖。他横跨数据工程、数据科学和应用研究的背景,为他提供了独特的实践视角,有助于塑造开发者体验。

Vineet Kamdar

Vineet Kamdar

Vineet 领导一个跨职能团队,评估云、代理式开发者体验以及整体客户体验。他主导战略评估和深度分析,以影响快速演变的生成式 AI、代理式开发者及客户体验,涉及领域包括代理式编码助手、代理式迁移、模型训练和推理。他拥有 18 年以上的行业经验,作为企业级大规模应用的构建者、架构师和产品领导者的丰富背景,使他能够独特地评估、衡量、影响并改进开发者、代理式以及整体云客户体验。

来源:AWS Machine Learning Blog · aws.amazon.com

© 2026 SI·Hot · Super Intelligence Hot · 超级智能热点 · 网站数据均来源于网络公开资料,版权归来源方所有