跳到正文

#部署/工程

今日 16 条
10月28日周三
  1. Latent Space46

    Anthropic 如何安全发布全球第一 LLM:分离大脑与双手

    Anthropic 通过分离模型“大脑”与智能体“双手”架构,安全发布 Claude Opus 5.5 并扩展托管智能体 API。该设计通过隔离、凭证管理和网络控制确保生产环境安全,支持跨上下文窗口的长时运行任务。此前 Anthropic 已提交 S-1 文件,此次发布进一步展示了其改进与投资循环及平台重要性。

  2. AWS Machine Learning Blog50

    Exowatt 借助 SageMaker 无服务器模型定制在专属任务准确性上超越前沿模型

    Exowatt借助Amazon SageMaker AI无服务器模型定制微调Qwen3-1.7B与Qwen3-14B,在告警分类和能源市场分析任务上准确性超越前沿模型且成本最高降至1/49。流水线覆盖数据准备、微调、评估与边云部署,边缘模型量化至8位运行于现有CPU,云端模型经Bedrock导入按活跃计费无闲置成本。该实践源于Exowatt设备群从测试台向制造与现场单元扩展时对可缩放AI层的需求。

  3. AWS Machine Learning Blog50

    AWS 宣布 SageMaker AI 训练与处理作业支持 SOCI 索引镜像,启动从分钟级降至秒级

    AWS 为 SageMaker AI 训练与处理作业推出 SOCI 索引镜像,通过懒加载将容器启动从数分钟缩短至秒级。基准测试显示镜像拉取时 GPU 空闲时间减少最多 90%,训练性能仅首轮多耗 3-16 秒。用户使用预索引 DLC 或自建索引即可接入,无需改动作业定义或 API。

10月27日周二
  1. Hacker News · AI 热帖75

    Cloudflare披露并修复GLM-5.3 Workers AI模型跨请求KV缓存暴露问题

    Cloudflare披露GLM-5.3 Workers AI模型在2026年8月27日至9月9日因SGLang配置与引擎缺陷导致跨请求KV缓存暴露,155条超681,280 tokens的响应泄露其他用户数据。平台已将KV池扩至约2.04 million tokens并打补丁,建议运营者升级SGLang至v0.5.22以上。该漏洞仅影响GLM-5.3,其他Workers AI模型未受影响。

  2. IT之家26

    海尔承建全国首个家居家电方向国家人工智能应用中试基地在青岛启动

    海尔智家承建的全国首个家居家电方向国家人工智能应用中试基地于 10 月 27 日在青岛启动。该基地由商务部推荐、国家发改委审批,旨在打造全球引领的“新一代智慧家电”中试基地,推动 AI 创新从“单打独斗”走向全行业“联合攻坚”。基地将构建产品中试、场景中试、产业中试、规模化推广、标准与安全五大能力,解决跨品牌互联互通难、重复投入成本高等行业痛点。

  3. AWS Machine Learning Blog47

    Amazon Bedrock 上 OpenAI 模型的 AI 智能体提示缓存模式

    在 Amazon Bedrock 上使用 OpenAI 模型时,通过提示缓存可复用智能体重复发送的工具定义与指令,降低输入成本。文章演示了结合隐式与显式缓存,利用 prompt_cache_breakpoint 标记静态前缀,使后续请求仅处理新增内容。此前智能体每轮需重读全部历史,导致 token 费用随轮次线性增加。

10月26日周一
  1. 量子位69

    KV Cache砍掉99%,单卡吞吐飙6倍,港科CMU联手岩山科技开源新模型

    岩山科技旗下岩芯矩阵联合港科大、CMU等高校刚刚发布并开源EdgeRock-4B模型,在256K上下文下KV Cache减少99.1%且单卡吞吐为源模型6.42倍。模型基于Qwen3.5-4B改造,权重与代码已在GitHub和Hugging Face开源,支持文本和图像推理。其在AIME 2024–2026平均一次通过率82.9%,推理能力接近源模型。

10月25日周日
  1. Hacker News · AI 热帖45

    Cerebras 部署万亿参数 AI 模型

    Cerebras 演示了如何在 WSE-3T 晶圆上部署 Kimi K3 等万亿参数模型,实现 1000-2000+ tokens/s 的推理速度。该方案将 3T 参数的 Kimi K3 拆分至 59 片晶圆,利用 4-bit 量化和流水线并行处理并发请求。此前 Cerebras 常面临单片晶圆 44 GB 内存无法容纳大模型权重的挑战。

10月24日周六
  1. AWS Machine Learning Blog32

    拜耳作物科学基于 Amazon Bedrock AgentCore 构建 Agentic Decision Engine

    拜耳作物科学基于 Amazon Bedrock AgentCore 构建 Agentic Decision Engine (ADE),作为多智能体自然语言接口连接其 Connected Decision Engine。ADE 在生产环境运行 22 个专家智能体,利用 LangGraph 编排,第一阶段可独立解决约 80% 的用户问题。此前诊断工作流故障需超过一小时,现缩短至 10 分钟以内。

  2. AWS Machine Learning Blog35

    AWS CDK 编排 SageMaker AI 端点自动扩缩容

    AWS CDK 通过自定义资源编排 SageMaker AI 端点更新时的自动扩缩容注册与注销流程。该方案解决了 CloudFormation 在更新端点配置时因自动扩缩容目标未注销导致的部署失败或状态丢失问题。开发者可在单次部署中同时更新端点配置和自动扩缩容参数,无需手动干预。

10月23日周五
  1. Hugging Face Blog47

    Hugging Face 推出 TorchNeuron 模型支持查询 Space

    Hugging Face 推出 TorchNeuron 模型支持查询 Space,用于检测 Hub 热门模型在 AWS Trainium 上的兼容性。该工具展示模型运行状态、Trainium 核心分片数及峰值内存,并提供基于 torch-neuronx 的 run.py 脚本供用户自行部署。目前仅测试文本生成和图文转文本模型,结果数据已公开为 Parquet 数据集。

  2. IT之家56

    中国信通院等发布《大模型词元服务性能监测报告(2026年)》,称国内大模型均价与吞吐翻倍

    中国信通院等机构10月23日发布《大模型词元服务性能监测报告(2026年)》,指出国内词元服务每秒吞吐量较2025年翻倍、均价涨近1倍。报告基于2026年1-8月监测数据,国内8月平均TPS为78.23个/秒,归一化均价13.46元,但国外典型模型TPS均值112.82个/秒且价格更高。

  3. MIT Technology Review · AI26

    EXL 阐述如何设计持久可用的 AI 服务框架

    EXL 指出企业 AI 的竞争优势取决于围绕模型构建的服务框架,而非模型本身。该框架需根据工作负载定义架构,通过优化内存管理与调度解决生产环境中的延迟与成本瓶颈。EXL 强调架构应具备适应性,以便在模型或硬件更新时避免平台重建,从而确保持续的业务价值。

  4. AWS Machine Learning Blog45

    AWS SageMaker AI 无服务器模型定制功能扩展,新增训练会话

    AWS SageMaker AI 无服务器模型定制功能扩展,新增训练会话(Training Sessions)正式可用。该功能允许用户编写自定义后训练逻辑(如 SFT、DPO、RLVR),由 SageMaker AI 自动处理 GPU 分配、分布式执行及故障恢复,无需管理底层基础设施。此前该服务已提供无服务器模型定制,此次更新旨在解决多轮强化学习等复杂场景下的基础设施管理难题。

  5. AWS Machine Learning Blog37

    Rescale 如何利用 Strands Agents 和 AI-DLC 构建 AI 分诊智能体

    Rescale 利用 AWS 的 AI-DLC 框架和 Strands Agents 构建了自动化测试失败分诊智能体,从问题定义到预发布部署仅用五天。该智能体运行在 Amazon EKS 上,调用 Claude Opus 4.8 对端到端测试失败进行分类和路由,并通过 MCP 查询日志生成修复报告。此前 Rescale 工程师需手动处理大量测试失败,导致发布流程受阻。

10月22日周四
  1. NVIDIA Blog40

    NVIDIA 发布 Minerva 实现 AI 工厂端到端可观测性

    NVIDIA 发布 AIOps 平台 Minerva,旨在通过整合基础设施与 AI 工作负载遥测数据,利用专用 AI 模型提升 AI 工厂生产力。该平台构建动态知识图谱,每小时分析数十亿数据点以检测异常并预测故障,将相关事件聚合为单一可操作项。IREN、IBM、Tesla 等合作伙伴计划部署 Minerva,Dell、Lenovo 和 Supermicro 也将将其纳入 AI 工厂运营组合。

  2. MIT Technology Review · AI24

    Celonis 首席科学家阐述企业 AI 引入操作上下文的重要性

    Celonis 企业 AI 首席科学家 Devavrat Shah 指出,企业 AI 缺乏对业务运营流程的理解,导致其在实际决策中表现受限。他主张通过构建上下文层,使 AI 智能体理解工作流并在既定护栏内运行,从而支持更精准的决策。Shah 建议企业从具体业务决策入手,识别难点并测试 AI 改进效果,以验证规模化价值。

  3. IT之家32

    蚂蚁数科发布决策模型 LingDT-Decision-1.0,将 Token 消耗降低超 90%

    蚂蚁数科发布决策模型 LingDT-Decision-1.0,在客服、风控等场景中将 Token 消耗降低超 90%,响应时效提升 10 倍。该模型提供 4B 和 27B 版本,首创原生多选与按序决策功能,27B 版本在 23 项开源评测中取得同参数最高准确率。目前该模型已在蚂蚁数科 DTMaaS 平台上线,开发者可限时免费体验。

  4. AWS Machine Learning Blog61

    AWS Deep Insight 如何解决多智能体系统的五大生产挑战

    AWS解决方案架构团队发文剖析其构建的开源多智能体系统Deep Insight,讲解它如何解决生产环境的五大核心挑战。系统基于Strands Agents SDK与Amazon Bedrock等构建,提供三种部署方式并已在GitHub开源。本文为三部分系列第一篇,后续将涵盖上下文工程与生产部署。

    推荐理由:AWS团队以自研Deep Insight为例,梳理生产环境多智能体系统的五大挑战与架构对策,为类似系统提供可复用的设计与部署参考。

© 2026 SI·Hot · Super Intelligence Hot · 超级智能热点 · 网站数据均来源于网络公开资料,版权归来源方所有