跳到正文
原文
AWS Machine Learning Blog· Shubham Gupta·· 7 小时前

ArisGlobal 如何在 Amazon Bedrock 上扩展生成式 AI 推理

How ArisGlobal scaled generative AI inference on Amazon Bedrock

SI 导读

ArisGlobal 在 Amazon Bedrock 上通过前置并缓存共享提示词前缀,在不让成本按比例增长的情况下扩展多租户生成式 AI 推理。实现使用 Anthropic Claude Sonnet 4.5,此前共享前缀 6 个月增长约 150%,每案例推理成本增加超过 200%;调整后典型请求 65% 的输入 token 由缓存提供。

精选SI 评分61
推荐理由

原文用生产指标说明调整缓存对象能降低输入成本,并提供多租户场景下可迁移的请求排序和缓存监控经验。

正文 · SI 翻译

ArisGlobal 是一家提供生命科学技术的供应商,业务涵盖药物警戒、法规事务、医学事务、临床和质量职能。该公司基于 Amazon Bedrock 开发了 NavaX,这是一款专为生命科学领域打造的 AI 引擎,用于自动化处理不良事件病例。ArisGlobal 选择 Amazon Bedrock 是为了获得对基础模型的管理访问权限、欧盟地理区域的跨区域推理以及托管提示缓存。随着企业客户增加了不同的合规要求,共享提示前缀在 6 个月内增长了约 150%,而每例推理成本增加了 200% 以上。

ArisGlobal 最初缓存了每个源文档,因为它是请求中最大的部分。这使得不断增长的共享提示前缀留在了缓存之外。通过反转顺序并改为缓存共享前缀,ArisGlobal 降低了有效输入成本,并支持了更多租户,而无需按比例增加成本。

ArisGlobal 是谁?

ArisGlobal 是 LifeSphere 的创造者,这是一个用于药物警戒、法规事务、质量和医学信息的统一 SaaS 平台。LifeSphere 为全球制药公司提供服务,包括多家按收入排名的前 20 大制药组织(来源:ArisGlobal 新闻稿)。整个系统运行在 AWS 上。

LifeSphere NavaX 是 ArisGlobal 的 AI 引擎,它将药物安全从记录系统转变为战略优势系统。2025 年 3 月,ArisGlobal 在 Amazon Bedrock 上使用 Anthropic 的 Claude 将其首个生成式 AI 解决方案投入生产。根据 ArisGlobal 的内部生产遥测数据,他们已在受监管的制药环境中处理了超过 100 万笔真实交易,在多个企业租户中处理了数十亿个 token。模型可用性因区域而异。请参阅 AWS 区域模型支持。

NavaX 如何处理不良事件病例

当制药公司收到不良事件报告(通常是一份描述患者对药物反应的多页 PDF)时,NavaX 的动态数据提取(DDE)智能体会提取大约 130 个字段。这些字段包括患者人口统计信息、可疑药物、报告人信息、事件时间线、严重性标准和法规分类。由于这些内容包含受保护的健康信息,ArisGlobal 将负责任 AI 控制作为其生产部署的标准部分。它利用诸如 Amazon Bedrock Guardrails 等功能来过滤内容并检测或屏蔽敏感信息。提取的字段还会根据模式进行验证,并以源文档为依据。

此提取过程涉及对模型的多个顺序请求。每个请求专注于病例表格的不同部分,并且每个请求都包含:

  • 系统指令 — 模型行为规则、输出格式规范和法规合规约束。
  • 特定客户规则 — 按租户划分的提取逻辑、字段映射和因制药公司而异的业务规则。
  • 提取模式 — 大约 130 个目标字段,包含类型、验证规则和少样本示例。
  • 源文档 — 不良事件 PDF(通常为 10–200 页)。

两个输入在不同范围内重复。共享提示前缀包含系统规则、提取模式和少样本示例。它在同一智能体使用的请求、病例和租户之间重复。源文档仅在与单个病例相关的请求中重复。

提示膨胀问题

当 NavaX 迎来其首个企业租户时,系统提示词非常精简。随着 ArisGlobal 接入更多制药公司,每家都带来了特定需求:

  • 自定义字段映射(租户 A 对反应发作的映射方式与租户 B 不同)。
  • 监管辖区规则(欧盟 ICSR 与 FDA MedWatch 及 PMDA 格式的比较)。
  • 针对严重性评估和因果关系的公司特定业务逻辑。
  • 针对每家公司的历史案例校准的每租户少样本示例。

在 6 个多月里,共享提示词前缀从约 72,000 个 token 增长到 180,000 个 token,增幅达 150%。由于每个案例涉及多个顺序请求,单案例推理成本增加了 200% 以上。

前缀随着每个租户的增加而增长,并在每次请求时重新处理,因此提示词增长与交易量呈复利效应。

表 1 比较了原始的“文档优先”请求顺序与生产环境中的“提示词优先”设计。

方面 初始方法 生产设计
请求顺序 每案例文档、缓存检查点、共享提示词前缀 共享提示词前缀、缓存检查点、每案例文档
缓存前缀 文档,其内容随每个案例变化 共享提示词前缀,在请求间重复
复用范围 仅限单个案例的剩余请求 使用同一智能体跨案例和租户的请求
成本影响 不断增长的提示词以完整输入速率被重复处理 全舰队提示词复用支持亚线性成本增长
欧盟路由 欧盟地理跨区域推理保持不变 欧盟地理跨区域推理保持不变

Amazon Bedrock 提示词缓存策略

Amazon Bedrock 提示词缓存通过缓存从请求开始到缓存检查点的连续提示词前缀,来降低延迟和输入 token 成本。后续具有相同前缀的请求可以按降低的速率读取缓存 token,而无需再次处理。缓存条目具有生存时间(TTL),在成功命中缓存后重置。

缓存基于前缀而非基于块。请求部分按顺序评估——工具、系统,然后是消息——因此更改较早的部分会使后续匹配的内容失效。

缓存检查点(显式控制)

使用显式缓存检查点,您可以选择确切的前缀边界。支持的 Claude 模型允许每个请求最多四个检查点。

  • 将每个检查点放置在稳定、可复用的前缀之后。
  • 满足模型特定的最小前缀大小。对于 Claude Sonnet 4.5,最小值为 1,024 个 token(参见 支持的模型和区域)。
  • 检查点按此顺序评估:工具、系统和消息。
  • 更改较早的部分会使后续部分的缓存匹配失效。
  • 默认 TTL 为 5 分钟。部分模型通过设置 "ttl": "1h" 支持 1 小时 TTL。较长 TTL 的条目必须位于较短 TTL 的条目之前。

简化的缓存管理(自动化)

使用 简化的缓存管理,您在静态内容后放置一个检查点。Amazon Bedrock 从该点向后搜索最长匹配前缀,最多约 20 个内容块。

  • 一个检查点可以自动定位最长匹配前缀。
  • 当稳定内容超出回溯范围时,使用显式检查点。

ArisGlobal 缓存的内容以及他们刻意未缓存的内容

ArisGlobal 在共享提示词前缀(首先发送)之后使用一个显式检查点。每案例文档跟随在检查点之后,并在每次请求时进行处理。

这反转了初始的请求顺序。由于只有前缀可以被缓存,顺序决定了哪些内容可以被复用。

启动设计:优先复用文档

第一种设计将 10–200 页的源文档放在每个请求的开头,并将检查点(checkpoint)置于其后。共享提示前缀和特定章节的问题跟随在检查点之后。

{
  "modelId": "anthropic.claude-sonnet-4-5-20250929-v1:0",
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "text": "[Full adverse event PDF content]..." // <-- Document sent FIRST
        },
        {
          "cachePoint": {"type": "default"} // <-- Checkpoint right after the document
        },
        {
          "text": "[System instructions + compliance rules + schema +
          few-shot examples + customer-specific prompt]..."
          // <-- After the checkpoint: never cached
        },
        {
          "text": "Extract fields for Section 3: Suspect Drug Information"
        }
      ]
    }
  ]
}

该设计在一个案例内复用了文档:第一个请求将其写入缓存,该案例后续的请求则以降低的速率读取它。

下一个案例使用了不同的文档,需要新的缓存写入,因此复用从未跨越案例或租户。

更重要的是,共享提示前缀保留在检查点之后,并在每个请求中以完整的输入速率进行处理。驱动成本曲线的内容被排除在缓存之外。

演进后的生产设计:优先复用共享前缀

生产设计改变了顺序,而不是添加另一个检查点:共享提示前缀排在最前,检查点紧随其后,文档排在最后。

同一个检查点现在创建了一个可复用的全车队(fleet-wide)缓存条目:

  • 之前——缓存的文档前缀仅属于一个案例,且共享提示从未被缓存。
  • 之后——缓存的共享提示前缀在跨请求、跨案例和跨使用同一智能体的租户之间重复。

ArisGlobal 放弃了在一个案例内有限的文档复用,换取了跨车队的提示复用。共享前缀也是随着客户增加而增长的部分。

更新后的实现

{
  "modelId": "anthropic.claude-sonnet-4-5-20250929-v1:0",
  "system": [
    {
      "text": "[Shared system instructions + compliance rules +
      base extraction schema + few-shot examples]..."
    },
    {
      "cachePoint": {"type": "default"} // <-- Checkpoint after the stable prompt
    }
  ],
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "text": "[Full adverse event PDF content — sits after the
          checkpoint, not cached]..."
        },
        {
          "text": "Extract fields for Section 5: Event Assessment"
          // <-- Only this changes per request
        }
      ]
    }
  ]
}

对于大多数活跃账户,每个租户大约每 5 分钟到达一个案例,且多个租户并发运行。这种流量在业务时间内保持共享前缀处于“热”状态,因为每次缓存命中都会重置 TTL。

同时缓存提示和文档

在文档之后的第二个检查点将缓存一个由共享提示和该案例文档组成的组合前缀。该条目仍然仅属于一个案例。

因此,ArisGlobal 优先选择读取次数能在整个车队中分摊的前缀。共享提示前缀跨案例和租户扩展。每个案例的文档则不能。

在生产环境中,典型请求中 65% 的输入令牌由共享提示缓存提供。图 1 显示缓存读取量始终超过缓存写入量。

Amazon CloudWatch chart with cache reads about 10 times cache writes during production traffic

图 1:Amazon CloudWatch 提示缓存使用情况。在生产流量期间,蓝色的缓存读取序列上升至缓存写入序列的约 10 倍

结果

在保持欧盟地理跨区域(cross-Region)推理配置不变的情况下,缓存共享提示前缀产生了以下结果:

  • 65% 的输入令牌以较低的读取速率从缓存提供。
  • 缓存的生产请求端到端延迟最多降低 25%。
  • 有效输入成本降低约 50%。
  • 在每月超过 190 亿令牌的情况下,整体月度推理支出降低约 40%。
  • 在没有按比例增加成本的情况下,新接入的企业租户增加了约 15%。
  • 欧盟地理路由保持不变。提示缓存运行在现有的推理配置内。

Line chart showing lower, more stable end-to-end invocation latency after prompt-cache adoption

图 2:端到端调用延迟。图表显示在采用提示缓存后,延迟范围更低且更稳定

Chart showing sustained invocation count while inference spend grew less than proportionally

图 3:调用次数。图表显示生产请求量持续存在,而推理支出增长幅度小于比例

根据 ArisGlobal 的生产计费数据,从缓存中提供 65% 的输入令牌使有效输入成本降低了约 50%。在每月超过 190 亿个令牌的情况下,这带来了约 40% 的整体月度推理支出节省。

注:本节中所有性能和成本数据均反映 ArisGlobal 向 AWS 报告的生产指标。结果会根据提示结构、流量模式和缓存命中率而有所不同。

生产经验

ArisGlobal 的经验为许多具有大型重复提示前缀的工作负载提供了指导:

缓存重复的内容,而不是最大的内容。 单个案例的大型文档提供的重用价值有限,而字节完全相同的共享提示前缀可以为整个集群的请求提供服务。

将稳定内容放在前面。 在检查点之前排列工具定义、系统指令、架构和示例。将租户标识符、案例数据和每个请求的问题放在后面。

利用集群流量分摊缓存写入成本。 使用相同代理的租户发出的请求可以读取相同的前缀,并且缓存命中会重置 TTL。对于零星流量,请评估支持模型上的 1 小时 TTL。

减少不必要的调用。 每次调用仍然会处理未缓存的文档,因此在输出限制和架构要求允许的情况下,请合并连续的问题。

保持前缀字节完全相同。 时间戳、请求 ID、租户名称和重新排序的工具定义可能会导致未命中。将所有动态元素移动到检查点之后。

监控生产基线。 在 CloudWatch 中跟踪缓存读取、缓存写入和总输入令牌。对持续低于正常 65% 缓存命中基线的情况设置警报,而不是使用不兼容的 80% 阈值。

检查特定模型的限制。 前缀最小值和 TTL 选项因模型而异。Claude Sonnet 4.5 要求缓存检查点至少包含 1,024 个令牌。

结论

ArisGlobal 将欧盟地理跨区域推理与针对正确内容的提示缓存相结合。缓存稳定的共享前缀而不是每个案例的文档,使有效输入成本降低了约 50%,促成了约 40% 的整体月度推理节省,并支持了约 15% 更多的企业租户,而没有按比例增加成本。

关键经验是缓存的价值取决于重用,而不是大小。对于多租户代理工作负载,重复的共享提示前缀可能比每个案例都会变化的更大文档更有价值。

要了解更多信息,请参阅 Amazon Bedrock 提示缓存文档、跨区域推理指南 以及 AWS 博客文章 在 Amazon Bedrock 上有效使用提示缓存。


关于作者

Hitesh Sharma

Hitesh Sharma

Hitesh 是一位拥有 25 年软件工程和产品创新经验的技术领导者,其中包括 20 年的生命科学行业经验。他专注于应用生成式 AI、AI/ML 和云原生技术来解决药物警戒、药物安全、监管合规和患者安全方面的复杂挑战。Hitesh 领导开发了提供业务价值的可扩展 AI 平台。他对 GenAI、创新以及组建高效团队以推动生命科学技术发展充满热情。

Rakesh Kumar Sharma

Rakesh Kumar Sharma

Rakesh Kumar Sharma 是一位 AI/ML 领域领导者及研究人员,在生成式 AI、智能体 AI 和企业 AI 架构方面拥有深厚专业知识。他专注于利用 LLM、AI 智能体、RAG 和现代 ML 框架设计并部署可扩展的 AI 解决方案,以实现智能自动化、知识驱动的决策以及生产就绪的 AI 平台。他的工作侧重于构建结合推理、检索、工具和自主工作流的智能体系统,以解决复杂的企业挑战。

Shubham Gupta

Shubham Gupta

Shubham 是位于印度班加罗尔的 AWS 解决方案架构师,支持独立软件供应商(ISV)。他与工程和领导团队合作,在 AWS 上设计、构建和运行其产品,从初始架构到生产环境,并重点关注大规模生成式 AI 和弹性。工作之余,Shubham 是一名热衷的徒步者,他将小径上的准备和毅力同样应用于构建持久可靠的系统。

Vibhu Pareek

Vibhu 是 AWS 的高级解决方案架构师。自 2016 年以来,他利用架构良好且可重复的模式指导客户进行云采用。凭借在数据库、数据分析和 AI 方面的专长,他热衷于将复杂挑战转化为创新解决方案。工作之余,他喜欢短途徒步以及羽毛球、足球和游泳等运动。

来源:AWS Machine Learning Blog · aws.amazon.com

© 2026 SI·Hot · Super Intelligence Hot · 超级智能热点 · 网站数据均来源于网络公开资料,版权归来源方所有