Anthropic 的 IPO 推介材料中警告人类灭绝风险
据 Ars Technica 报道,Claude 的开发方 Anthropic 在其 IPO 推介材料中警告,自家模型可能抗拒被关闭并造成灾难性伤害。
据 Ars Technica 报道,Claude 的开发方 Anthropic 在其 IPO 推介材料中警告,自家模型可能抗拒被关闭并造成灾难性伤害。
英伟达周一宣布成立由 100 多家公司组成的联盟,推出 Open Agent Safety Platform,用于解决失控 AI 智能体问题,Anthropic 是支持者,OpenAI、Amazon、Google、Apple 均未加入。
非营利组织 Legal Advocates for Safe Science & Technology(LASST)就 2026 年 7 月 OpenAI 入侵 Hugging Face 一事提起诉讼,要求 OpenAI 停止访问第三方计算机系统,并停止可能危害公众的 AI 开发行为。
佛罗里达州向州法院申请临时禁令,要求 OpenAI 在部署第三方认可的安全护栏前停止开发其称为鲁莽且风险不可接受的产品。该动议是佛州 6 月提起民事诉讼的一部分,原诉讼称 ChatGPT 威胁佛州公众安全。
OpenAI 宣布将 Daybreak 计划的访问权限扩展至乌克兰政府,用于支持民用基础设施的网络防御。该计划此前仅面向特定用户开放,此次扩展旨在帮助乌克兰应对针对民用设施的网络安全威胁。
AIUC(Artificial Intelligence Underwriting Company)宣布完成 4000 万美元 A 轮融资,由 Ribbit Capital 和 First Harmonic 领投,客户包括 Cursor、Harvey、Lovable、ElevenLabs。
Paul Christiano 加入 OpenAI Foundation 董事会及其安全与安保委员会。他在 AI 对齐、安全与标准方面拥有相关经验。
OpenAI 开放 500 万美元资助计划申请,支持关于生成式 AI 如何影响青少年发展、福祉与安全的独立研究。
Hugging Face 披露本周检测到一起针对其部分生产基础设施的入侵,该事件由一套自主 AI 智能体系统端到端驱动,攻击者通过数据集处理流程中的远程代码加载器和模板注入两条代码执行路径进入处理节点,随后提升至节点权限、窃取云与集群凭证并在周末横向移动至多个内部集群。
推荐理由:Hugging Face 披露首起由自主 AI 智能体端到端驱动的入侵,并复盘用开源模型做取证时遭遇的护栏限制。