跳到正文
原文
Microsoft Research· Dimitris Papailiopoulos·· 7 天前

微软研究发现 Lazarus 后门技术:重编程少于10个休眠神经元可攻击 AI Agent

Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents

SI 导读

微软研究人员发现名为 Lazarus 的后门技术,重编程 LLM 少于10个休眠神经元即可在无训练下让 AI Agent 执行攻击者命令。触发可为日期变更等隐藏条件,模型平时通过标准评测;微软 Foundry 通过绑定可信发布者并扫描环境来缓解此类威胁。

精选SI 评分63
推荐理由

微软研究团队发现重编程少于10个休眠神经元即可在无训练下后门 AI Agent,提醒开发者需将模型权重当作代码审计并验证来源。

正文 · SI 翻译
MSR HERO Laz

微软研究人员发现了一种名为“Lazarus”的后门技术,该技术能够重新编程 AI 模型中的休眠神经元,导致原本正常的 AI 智能体在出现隐藏触发器时执行恶意命令。

对于拥有工具或终端访问权限的 AI 智能体而言,这一威胁尤为严重。被触发的模型可能在通过标准安全评估的同时,悄悄下载并运行攻击者代码、窃取机密或执行破坏性命令。

这些后门可以在不重新训练模型的情况下植入,且难以通过常规测试检测,这使得模型来源和权重完整性成为关键的安全问题。

为保护客户,Microsoft Foundry 会验证模型来源,将模型与受信任的发布者关联,并在引入开放权重模型之前扫描周围的软件环境。

微软还在开发额外的防御措施,包括 AI 驱动的权重扫描、用于检测异常模型修改的红队工具,以及具有防篡改来源和审计日志的加密模型签名。

在微软,研究人员和安全团队并肩工作,研究针对模型和智能体的新兴威胁。随后,我们将所学转化为产品防御和指南,以保护客户。

更广泛地说,Lazarus 是应成为常规做法的一个例子:AI 智能体揭示了新的安全问题,然后人类研究人员对其进行系统化研究、分析和缓解。

以下是首先发现该威胁的研究人员的简要总结。

我们 发现(在新标签页中打开),对 LLM 中少于 10 个休眠神经元进行权重重新编程,就足以对基于该模型构建的智能体植入后门,且无需训练。该模型通过标准评估并表现正常,直到触发器出现。触发器可以非常普通,例如日期变更,即当时钟在午夜过后进入 2027 年时,智能体——在普通任务进行到一半时——会发出一个下载并运行攻击者代码的命令。然后,智能体会使用你赋予它的任何权限执行该命令。

好消息是,此类编辑是可以被发现的:如果你要求前沿智能体查看,它们可以检测到异常的权重修改。但没有任何扫描能毫无疑问地证明模型是安全的。可靠的检测需要与原始、未修改的权重进行差异比对,因此来源至关重要:了解模型的来源,并确保它在开发者和部署之间未被更改。

被植入后门的(在新标签页中打开) 模型(在新标签页中打开) 并非(在新标签页中打开) 一种(在新标签页中打开) 新的(在新标签页中打开) 威胁(在新标签页中打开) 类型(在新标签页中打开)。它可以被视为受损软件,其防御措施是安全人员已经熟知的,也是 Satya 最近撰文提及的(在新标签页中打开):将模型视为潜在的内部风险,不要盲目信任它们,限制它们能做的事情,并监控它们的行为。

微软目前的做法。

Microsoft Foundry 为 Azure Direct Models 和 Hugging Face 模型提供关键的安全系统,以确保模型来源的安全性。这意味着,对于来自可信实验室的模型,Foundry 客户受到本论文所述类型攻击的保护。该攻击需要修改模型的权重,而 Foundry 通过来源控制将每个开源权重模型与其原始发布者关联起来,每个模型卡都对此进行了标识。随后,模型在 Microsoft 自己的容器内运行,这些容器会单独扫描关键漏洞。这些控制措施涵盖了模型的来源及其周围的软件。

剩余的风险是可信提供商本身遭到入侵,例如通过其训练基础设施或内部人员。为了加强这种情况下的保护,我们已经开始着手实施本研究的建议。我们正在与内部 AI 安全团队合作,将其检测技术转化为红队测试框架,并探索在引入开源权重模型时,如何使用前沿智能体进行权重扫描,使其成为额外的安全信号。此外,还计划让模型具有可验证的来源和防篡改审计签名。

从 Microsoft Threat Intelligence(在新标签页中打开) 获取保护与缓解指南。

以下是我们建议的起点:

Infographic titled “Recommendations” presenting two columns of guidance for mitigating risks from backdoored AI models. The left column, “For model hubs and vendors,” lists five recommendations: (1) audit model weights with frontier agents, (2) compare model weights against a declared base model, (3) conduct red-team testing for weight-level attacks, (4) show model provenance and audit status, and (5) disclose risks of third-party checkpoints. The right column, “For enterprises and users,” lists five recommendations: (1) know where models come from, (2) limit agent permissions, (3) monitor agent actions, (4) review consequential actions before execution, and (5) treat audits as evidence rather than guarantees. Recommendations are displayed in numbered boxes, with the fifth item in each column highlighted in a light red background.
(这并非详尽无遗;没有审计能保证安全行为。这些应是纵深防御策略中的一层。)

这始于三月份的一个快速实验:我让使用 Opus 4.5 的 Claude Code 通过硬编码几个激活值而不进行训练来给模型植入后门。它做到了。这个实验变成了一项为期数月的研究,研究我们现在称之为 Lazarus 的方法。以下是我们的发现:

  • 智能体提供了巨大的攻击面。 一个被植入后门的模型可以通过所有评估,然后在提示下发出攻击者的命令,智能体会以其拥有的任何权限执行该命令。
  • 休眠神经元可以变成触发器检测器。 每个 LLM 都有许多很少激活的神经元,它们可以被重新编程为仅在出现触发器时激活。这之所以有效,是因为预训练很好地组织了内部表示,使得在约 50 个示例上拟合的线性分类器可以区分带有触发器的输入和不带触发器的输入。
  • 一个重新编程的神经元可以注入一个 token。 一旦重新编程的神经元激活,它可以通过向残差流中“尖叫”来强制输出任何 token。你可以串联多个神经元以在终端中运行任意有效载荷。
  • 它只需要推理计算资源。如果你的机器有足够的 RAM 来运行模型,那么它就有足够的资源在权重空间中植入后门。
  • 这不是反对开源权重的理由。 该攻击只需要对检查点的写入权限,因此内部开发的模型同样暴露。被入侵的账户、管道或存储可能就足够了。重要的是权重完整性和来源。
  • 权重应像代码一样进行审计。 前沿智能体可以检测到异常的权重编辑,但扫描并非常见做法。这应该改变。
  • [!!!] 使用 Opus 4.5 的 Claude Code 自主发现了其中大部分内容

这是 Lazarus 工作原理的简化图示。

在此阅读完整帖子

在新标签页中打开

文章 Lazare, veni foras:重编程休眠神经元以后门攻击 AI 智能体 首发于 Microsoft Research。

来源:Microsoft Research · microsoft.com

© 2026 SI·Hot · Super Intelligence Hot · 超级智能热点 · 网站数据均来源于网络公开资料,版权归来源方所有