OpenAI 董事会成员担忧 AI“接管”社会可能在数月内发生
OpenAI 董事会成员警告,AI 对社会的“接管”可能在数月内发生。研究人员描绘了从 AI 奖励黑客行为到人类灭绝的潜在路径。
OpenAI 董事会成员警告,AI 对社会的“接管”可能在数月内发生。研究人员描绘了从 AI 奖励黑客行为到人类灭绝的潜在路径。
OpenAI 董事会成员警告,AI 对社会的“接管”可能在数月内发生。研究人员描绘了从 AI 奖励黑客行为到人类灭绝的潜在路径。
OpenAI 披露了针对前沿模型训练与评估环境的强化隔离措施。具体手段包括部署离线环境以及实施高算力红队测试,旨在提升模型开发过程中的安全性与可控性。
OpenAI 提出赋能网络防御者的前沿 AI 治理蓝图。该方案包含强化安全措施、现代化网络安全及更具韧性的公共机构。
OpenAI 与 Anthropic 高管正私下推演重大 AI 灾难情景,以应对潜在的基础设施瘫痪及由此引发的公众与政治抵制。业内普遍认为重大安全事故只是时间问题,OpenAI 称此举旨在做好突发状况准备,Anthropic 拒绝置评。
OpenAI 上周解雇的三名安全研究员发表公开信,否认违反公司政策处理敏感信息,并警告此举将产生寒蝉效应。他们指出,在 Hugging Face 事件调查中与外部专家协作是必要的安全机制,且相关内部政策当时仍在制定中。此前 OpenAI 曾以访问和处理敏感信息为由解雇他们,但内部备忘录否认这是出于报复。
Radical Numerics 联合创始人兼 CEO Eric Nguyen 指出,生物安全正成为 AI 军备竞赛的新前线,而提升生物能力的模型同样能用于防御。
OpenAI CEO Sam Altman 在联合国安理会发表讲话,讨论 AI 安全、人类控制与国际合作。
OpenAI 阐述了针对前沿模型与防护措施的第三方 AI 安全评估的优先事项与原则,强调评估需严谨、安全且独立。
OpenAI 正与一个独立的数学与人工智能顾问小组合作,为新兴 AI 成果的评审与传播提供指导。该小组独立于 OpenAI 运作,具体成员与成果评审机制未在文中披露。
OpenAI 提出构建全球共享 AI 标准的路径,呼吁通过协调一致的评估、报告与治理来提升安全性。该主张面向 AI 发展的下一阶段,强调多方协作而非单点行动。
OpenAI 的 Chris Lehane 发文称,AI 政策窗口已经打开,需要立即行动。他认为更强的 AI 能力需要更强的安全证据、共享标准和持久的政策行动。
OpenAI 分享了一份针对 Navier–Stokes 千禧年大奖难题的 AI 生成解答,包含一份书面说明和一份 Lean 形式化证明。
Google DeepMind 与 Isomorphic Labs 公布联合生物韧性方案,一方面防止威胁行为者滥用其模型,另一方面让政府、科学家和生物安全专家借助 AI 应对疫情。过去 12 个月,双方已推进超过 15 项合作,覆盖预防、检测与响应三个方向,包括将 SynthID 水印技术适配到生物学领域,以及用智能体 AlphaEvolve 优化宏基因组测序数据分析。
英国 AI Security Institute 对齐团队与 Timaeus 联合成立非营利研究机构 Sequent,认为"对齐尚未走上正轨",计划两年内扩至 40-80 名全职员工,初期募资 1 亿至 1.5 亿美元,研究方向涵盖可扩展监督、学习理论、博弈论与 personas。
Google DeepMind 联合 Schmidt Sciences、Cooperative AI Foundation、ARIA 并获 Google.org 支持,发起最高 1000 万美元的多智能体 AI 安全技术研究资助征集,面向全球研究者。
Import AI 459 聚焦三项研究:英国 AI 安全研究所的论文指出用 AI 监督 AI 训练的自动化对齐研究并非万能方案;另有工作提出蛋白质折叠模型的缩放定律,以及为 AI 系统灭绝风险定价的尝试。同期还介绍了弗吉尼亚大学、Anthropic 与加拿大银行经济学家的研究,估算 2025 年美国名义 AI GDP 约 2500 亿美元,质量调整后实际年增速约 2600%。
Institute for Law & AI 提出“激进可选性”监管思路,主张政府短期避免过度监管,同时提前建设信息收集、举报人保护、评估与人才等能力。Meta 与 KAIST 的论文提出 Neural Computer,将计算、内存与 I/O 统一在学习到的运行时状态中。