AWS 提出 Agentic AI 负责任 AI 三阶段路线图
AWS 为构建 Agentic AI 平台的团队提供了一份分阶段的负责任 AI(RAI)实施路线图,涵盖治理基础、试点部署及评估加固三个阶段。该方案旨在解决非确定性输出、数据暴露及监管合规等挑战,并配套提供 RAI 评估技能与记分卡,帮助平台与应用团队在 12 周内建立治理框架。
AWS 为构建 Agentic AI 平台的团队提供了一份分阶段的负责任 AI(RAI)实施路线图,涵盖治理基础、试点部署及评估加固三个阶段。该方案旨在解决非确定性输出、数据暴露及监管合规等挑战,并配套提供 RAI 评估技能与记分卡,帮助平台与应用团队在 12 周内建立治理框架。
OpenAI 正与北约及盟国网络机构合作,利用 AI 协助可信防御者发现漏洞、测试修复方案并保护关键系统。
OpenAI 推出新工具、实用指南及合作伙伴关系,旨在帮助预防、检测和应对在线儿童性剥削与虐待。
针对 Amazon Bedrock Guardrails 中 Denied Topics 常因语义匹配过宽导致误拦截合法查询的问题,文章提出八项编写最佳实践。核心建议是将主题定义聚焦于用户具体意图而非宽泛领域,并规范名称、定义及示例的撰写以避免边界模糊。
该方案利用 Amazon Bedrock AgentCore Gateway 在工具层注入经身份验证的用户属性,防止 LLM 伪造搜索权限。结合 Managed Knowledge Base 的 ACL 感知功能,确保多租户环境下每个用户仅能检索其有权查看的文档。此设计通过多层防御机制,解决了传统应用中由 LLM 决定搜索参数可能引发的越权访问风险。
OpenAI 推出 Control Room,作为跨研究基础设施追踪模型工作负载的中心系统。该系统能在安全或安全顾虑出现时快速停止相关任务。
OpenAI 推出 Control Room,用于追踪研究基础设施中的模型工作负载。该工具能在出现安全或安全顾虑时快速停止相关任务。
现代汽车集团探索 NVIDIA NemoClaw 蓝图与 OpenShell 运行时,AIM Intelligence 集成 Starfort 平台以支持安全 AI 智能体。LG AI Research 开放基于 NVIDIA Nemotron 数据集开发的 K-EXAONE-2.5 API 访问,该数据集包含 700 万个合成韩国人物画像。
OpenAI 宣布与 Hacktron 建立合作伙伴关系,旨在发现系统漏洞并测试与第三方服务的连接。双方将利用前沿 AI 技术共同加强防御体系。
AWS 演示利用 Amazon Bedrock AgentCore Gateway 和 Cedar 策略集中管理 AI Agent 对 MCP 工具的访问权限,替代分散的授权检查。该方案支持在 Amazon EKS 上运行多 Agent,并通过 CloudWatch 统一审计 Okta 授权决策。这是继 Part 1 验证基础治理机制后,针对企业级大规模 Agent 拓扑的扩展方案。
OpenAI 推出 GPT‑6 Cyber,这是一款用于发现可利用漏洞并开发修复方案的网络安全模型。该模型经过专门训练,确保在授权范围内运行。
AWS Quick 推出 Smart Approvals 功能,利用独立分类器模型评估 AI 智能体拟执行的操作,在符合现有权限控制的前提下自动批准常规动作或将其退回用户审查。该功能默认开启,每次自动批准仅限单次使用且针对特定参数,不授予持续权限,旨在减少重复审批对注意力的干扰。审计日志通过 AWS CloudTrail 记录相关权限更新,保留期为 90 天。
Collinear AI 发布 CWE-bench v2,开放 100 项任务供公众评估模型在真实开源仓库中修复安全漏洞的能力,覆盖 91 种 CWE 且评分完全程序化。
Microsoft Research 研究员 Mike Walker 在访谈中阐述黑客思维对构建下一代网络防御的价值。他回顾领导 DARPA Cyber Grand Challenge 的经历,该计划展示了能自动发现并修补软件漏洞的自主 AI 系统。Walker 强调有效安全依赖于理解信任与上下文,并反思了竞争黑客对团队协作的启示。
OpenAI 正在筹备与 Cathedral Systems 合作的下一轮内部安全冲刺。该计划旨在利用 AI 测试并强化 OpenAI 的防御体系。
OpenAI 宣布提高安全漏洞赏金,并针对独立安全研究人员引入报告质量、忠诚度及优先活动奖励。此举旨在通过更细致的激励机制提升安全防御水平。
OpenAI 任命 Dan Driscoll 为国家安全现代化高级顾问。他将就负责任 AI 在国家安全现代化、网络韧性以及与美国盟友合作方面提供建议。
OpenAI 发布社区安全报告,并推出针对青少年的新保护措施。ChatGPT 通过扩展安全护栏、提前干预机制及新的公共安全报告承诺,强化暴力预防能力。
OpenAI 采用分层监控机制检测前沿模型失准及未授权智能体行为。该机制旨在让响应团队在事件升级前进行干预。
Check Point 利用 OpenAI Daybreak 加速新安全保护背后的漏洞研究。该工具使分析师能够更快地将漏洞情报转化为客户防御措施。
OpenAI 披露了针对前沿模型训练与评估环境的强化隔离措施。具体手段包括部署离线环境以及实施高算力红队测试,旨在提升模型开发过程中的安全性与可控性。
OpenAI 与波兰 NASK 达成合作,共同推进 AI 安全、安全及技术研究。双方旨在加强保障措施,支持构建更具韧性的数字生态系统。
OpenAI 与分发合作伙伴合作,通过维持一致的安全保障措施来支持负责任的访问。该合作旨在明确使用政策中的预期,确保在扩大访问范围的同时保持标准统一。
OpenAI 提出赋能网络防御者的前沿 AI 治理蓝图。该方案包含强化安全措施、现代化网络安全及更具韧性的公共机构。
OpenAI 推出 Patch the Planet 项目,连接安全研究人员、维护者和事件响应人员,以智能体协助解决开源关键漏洞。该项目旨在通过全球响应协调机制,加速开源生态中严重安全问题的修复与处置。
NVIDIA 宣布扩展机密计算,新增 Confidential Bare Metal 部署选项,允许前沿模型构建者在第三方基础设施上运行敏感工作负载。该功能支持 NVIDIA Grace Blackwell 和 Rubin 系统,并与 NVIDIA DSX OS 集成。Cohere 和 Google Cloud 已计划或宣布支持该功能,以保护模型和数据安全。
AWS 与 Keyfactor 联合发布参考架构,利用 X.509 PKI 解决 AI 智能体在 MCP 环境下的身份认证缺失问题。该方案结合 Keyfactor EJBCA 与 Amazon Bedrock,通过签名请求信封、委托断言及 OCSP 实时吊销机制,实现零信任下的智能体身份验证与权限控制。
GitHub 推出基于微调 ModernBERT 的两阶段秘密检测流水线,将通用秘密检测扩展至推送保护阶段。该方案使推送后扫描中位执行时间降低 86%,服务成本较 LLM 管道降低 98%,用户接受度提升 11.5%。此前该检测仅支持代码提交后的推送后扫描。
OpenAI 瓦解了两起利用 AI 的“假面”影响力行动。这些行动通过伪装成记者和智库来传播地缘政治信息。
Amazon Quick 和 Amazon Bedrock Knowledge Bases 通过实时访问控制列表(ACL)执行解决企业 RAG 权限难题。系统在查询时直接调用权威数据源 API 验证权限,取代易过期的同步快照,确保 AI 响应仅包含用户有权访问的内容。
AWS 提供 ISO/IEC 42001:2023 实施指南及 Well-Architected Framework: Responsible AI Lens,协助客户将 AI 系统影响评估整合至企业风险管理体系。
Google 联合 50 余位专家发布《智能体隐私与安全中的开放与新兴问题:上下文视角》报告,提出基于上下文完整性(CI)理论构建多层防御体系。该方案通过动态策略引擎在系统、模型及用户层面评估智能体行为的适当性,以解决自主智能体在处理个人数据时面临的隐私与安全挑战。
OpenAI 介绍了其在欧盟规则下实施文本水印的方法,明确了水印的适用范围及检测机制。目前该访问权限优先向研究人员开放。
Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御方开放,随后逐步扩展到开发者、企业和消费者,起价为每百万输入 token 2 美元、每百万输出 token 10 美元。
推荐理由:官方给出 Argon 在长程编码、企业知识工作与网络安全防御上的基准与内部落地数据,可据此判断前沿模型的能力边界与分阶段开放节奏。
本文介绍了 OpenAI 发布的 Towards safety cases for frontier AI training 模型,涵盖技术保障、运营实践及误alignment 调查,旨在构建前沿 AI 训练的安全防线。
GitHub Security Lab 发布了 Fuzzing Taskflow,一个针对 C/C++ 项目的自主模糊测试流水线,默认使用 Claude Sonnet 5 驱动。该工具通过 MCP 工具调用 AFL++ 和编译器,自动完成入口点识别、Harness 编写、覆盖率分析及崩溃分诊,并生成包含漏洞判定和修复建议的报告。
推荐理由:展示了 LLM Agent 如何接管模糊测试中编写 Harness、分析覆盖率及分诊崩溃等重复性人工环节,为 C/C++ 项目自动化安全审计提供了可复用的工程范式。
Google DeepMind 发布 Private AI Compute 平台的安全服务端记忆架构,实现跨设备持久 AI 记忆并维持端侧隐私标准。该架构利用云端安全飞地(secure enclave)和端到端加密通道,加密密钥仅保留在用户个人设备上,确保数据对包括 Google 在内的任何第三方不可访问。
推荐理由:原文展示了云端持久记忆与端侧密钥控制的架构,为跨设备隐私计算提供了可验证的技术路径。
OpenAI 宣布将 Daybreak 计划的访问权限扩展至乌克兰政府,用于支持民用基础设施的网络防御。该计划此前仅面向特定用户开放,此次扩展旨在帮助乌克兰应对针对民用设施的网络安全威胁。
OpenAI CEO Sam Altman 在联合国安理会发表讲话,讨论 AI 安全、人类控制与国际合作。
OpenAI 发布 MentalHealthBench,一个由专家参与构建的基准,用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。