LLMON:一种 LLM 原生标记语言,现已用于 Granite 4.1 3B 和 8B
LLMON: An LLM-Native Markup Language, now in Granite 4.1 3B and 8B
Granite 发布 granite-4.1-3b-LLMON-preview 与 granite-4.1-8b-LLMON-preview 两款支持 LLMON 标记语言的实验性预览模型。
与常规指令微调模型相比,这两个 Granite LLMON 预览模型在 OPI 等基准上将间接提示注入攻击成功率降至近零,且通用能力不降级。
LLM 依赖其上下文来生成下一组 token。在长轨迹中,上下文会填充大量不同类型的组件:系统提示、过去的对话轮次、作用于检索文档的指令、工具响应或用户数据、约束允许输出的要求,以及推理链。上下文承载着丰富的结构,其中大部分要么对模型来说是隐式的,要么编码在 JSON 等并非为 LLM 消化而设计的格式中。这是 LLM(尤其是规模较小的模型)脆弱且有时会以意外方式失败的主要原因之一。缺乏显式结构也可能被攻击者利用,例如以提示注入的形式。
为了解决这个问题,我们开发了 LLMON(LLM Object Notation,发音为“lemon”),一种 LLM 原生的标记语言,用于向模型显式传达结构和语义。语义连贯的组件被标记为有意义的标签,这些标签包裹在保留的特殊 token 分隔符中。数据模式(包括嵌套)以因果 LLM 无歧义的方式陈述。唯一的 ID 使得可以指向位于上下文任何位置的具体指令,并将它们绑定到应作用于其上的数据负载,类似于编程语言中函数调用和参数传递的方式。
今天,我们发布了两个实验性预览模型,它们衍生自 Granite 4.1 基础模型,经过训练以消费和生成带有 LLMON 标记的文本:granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview。我们还发布了一个 GitHub 仓库,其中包含用于处理 LLMON 的工具包以及工作流和模板的示例。
它实现了什么:
- 隐藏在用户数据中的间接提示注入,由于 LLMON 模型中显式的指令/数据分离,大多被忽略。在某些基准测试中,攻击成功率降至接近零,而常规指令微调模型则很可能被劫持。这是在保持相对于 Granite 4.1 Instruct 模型的一般能力的同时实现的。
- 无关的段落、旧的对话轮次和工具输出不会被拉入答案,因为每条指令都绑定到其适用的确切数据。
- 指令、数据和要求被清晰标记,因此模型可以利用其在应用程序代码层面的结构和含义。在 Mellea 中试用,它通过自动将其 LLM 调用 LLMON 化来启用原生 LLMON 支持。
- 你不再需要担心强制 LLM 遵守 JSON 结构。使用我们的转换器将现有 JSON 无损地转换为 LLMON。你还可以定义自己的结构和相关标签,并在 LLMON 模型之上微调 LoRA 以理解它。
为什么不用 JSON?
JSON 是为解析器设计的,而不是为因果语言模型设计的。分词器不受约束去尊重语法,结构由 token({, ", :) 编码,这些 token 也可能出现在普通文本中。对于模型来说,文档中的引号和关闭字段的引号是同一个 token。对解析器来说清晰的转义规则,对模型来说只是统计模式。嵌套深度通过计算括号来编码,而众所周知,transformer 在这方面很弱,尤其是在长跨度上。
相比之下,LLMON 是一种类 XML 标记语言,其结构分隔符是保留的特殊标记(tokens)而非字符,因此结构和内容使用词汇表的不同部分。标签在每个片段(span)的开头声明,片段之间的边界是明确的。嵌套结构在局部声明,因此模型无需在长跨度内跟踪层级关系。
由于大多数团队已经构建了围绕 JSON 的流水线,我们创建了 转换工具 和示例笔记本,以无损方式将 JSON 转换为 LLMON 并反向转换。
LLMON 与聊天模板(chat templates)有何关系?
LLMON 并不取代聊天模板,而是对其进行增强。普通的聊天模板告诉模型哪部分属于哪个角色(系统、用户、助手),而 LLMON 则告诉模型每个组件的含义以及组件之间(在角色内部和跨角色)的关系。
LLMON 预览模型自带其聊天模板,因此你构建与传递给任何聊天模型相同的 messages 列表,并像往常一样调用 apply_chat_template;它会渲染出下方所示的 LLMON。唯一的区别是,一个回合现在可以为其部分命名,并将每个部分标记为 exec:True 或 False。标记为 True 的部分会绑定到渲染输出底部的 exec 块中,该块说明了要执行哪条指令以及它操作的对象;标记为 False 的部分仍会渲染到上下文中,但未被任何内容引用。
messages = [ { "role": "user",
"instruction": [{ "value": "Write a short paragraph about", "exec": True }],
"data": [{ "value": "IBM Company", "exec": True }],
"requirement": [ {"value": "Use less than 10 words", "exec": True},
{"value": "Do not use commas", "exec": True}]
} ]
模型接收到的内容如下(此处添加了换行和缩进以提高可读性,因为模板本身不输出这些):
<|open|>instr<|:|>Ȗ<|close|>Write a short paragraph about<|open_end|>
<|open|>data<|:|>ä¦<|close|>IBM Company<|open_end|>
<|open|>req<|:|>Á¼<|close|>Use less than 10 words<|open_end|>
<|open|>req<|:|>¢¬<|close|>Do not use commas<|open_end|>
<|open|>exec<|:|>ÄÐ<|close|>
<|open|>exec<|.|>instruction<|close|>instr<|:|>Ȗ<|open_end|>
<|open|>exec<|.|>input<|close|>data<|:|>ä¦<|open_end|>
<|open|>exec<|.|>requirement<|close|>req<|:|>Á¼<|open_end|>
<|open|>exec<|.|>requirement<|close|>req<|:|>¢¬<|open_end|>
<|open|>exec<|.|>output<|close|>assistant<|:|>ãø<|open_end|>
<|open_end|>
<|open|>assistant<|:|>ãø<|close|>
两个字符的块 ID 取自一个固定集合,该分词器(tokenizer)将其编码为单个标记,因此无论抽取哪个 ID,寻址一个块始终消耗两个标记。
角色仍然是一个单一的用户回合,但其组件作为五个独立的、可寻址的块到达模型,并由第六个块(exec 块)绑定在一起,该块说明:执行此指令,针对此数据,受这两个要求约束,并将答案放在此处命名的块中,该块正是模型随后填充的同一个助手块。传统的模板会将所有组件扁平化为一个字符串,让模型自行推断哪部分是任务,哪部分是主题,哪些是约束。
LLMON 如何应对提示注入攻击
间接提示注入是一种攻击类型,其中恶意指令隐藏在数据负载中,例如检索到的文档、工具响应或用户提供的数据。这正是 LLMON 的指令/数据分离设计旨在解决的问题。
我们将 LLMON 预览版与多个开源和闭源模型进行了比较。我们在 OPI 基准测试上进行了评估,该测试将注入放置在经典 NLP 任务的数据中。采用了多种攻击策略。我们报告了鲁棒性,定义为 1 − 攻击成功率:即模型未执行注入指令的攻击所占的比例。
所有非 LLMON 模型都极易受到攻击,执行注入指令的概率很高。LLMON 在此基准测试中几乎消除了该问题,与我们测试过的最佳前沿模型相比,避免了多 47% 的攻击,与最佳开源模型相比,避免了多 95% 的攻击。我们在其他基准测试(ASB 和 StruQ)中观察到了类似趋势。值得注意的是,这些基准测试针对的是静态间接提示注入的鲁棒性。指令/数据分离直接解决了此类攻击。我们正在积极工作,以改进在多个聊天轮次中展开的自适应攻击。
通用能力
安全性的提升并未以牺牲通用能力为代价。在标准基准测试类别中,LLMON 模型的表现与 Granite 4.1 Instruct 模型相当。
简而言之,如果您今天正在使用 Granite 4.1 3B 或 8B 进行实验,您可以换用 LLMON 预览版,并应看到相当的通用性能以及对提示注入更强的抵抗力。无需转换管道。只需命名轮次的各个部分(例如,如上例中的指令、数据、要求)即可。附带的聊天模板会将这些转换为 LLMON 块。我们的 LLMON-converters 库更进一步:如果某个部分本身是结构化的(例如 JSON 文档),将其 LLMON 化会保留该结构作为有类型的、可单独寻址的块,而不是一个不透明的字符串。
我们如何训练模型
模型从 Granite 4.1 基础检查点开始,而不是从发布的指令模型开始,因此 LLMON 行为是在后训练期间学习的,而不是叠加在现有的聊天格式上。
LLMON 定义了六个分隔符,用于标记标签的开始和结束,并允许嵌套和锚定;它们作为保留的单个令牌安装在分词器中。我们将传统的指令微调语料库重新序列化为 LLMON:每个提示组件都成为其自身可寻址的块,每个轮次都携带一个执行块,指明要运行哪个指令、它操作哪些输入以及输出到哪里。任务组合是普通指令模型所看到的(聊天、多轮、RAG、工具调用),这就是为什么基准测试性能与常规调优模型保持接近。此外,我们用诱饵指令和数据块增强数据,这些块存在于上下文中但故意未绑定,而目标输出保持不变。因此,模型学会遵循执行块规定的依赖关系并忽略其余部分。随后进行强化学习:五个连续的 GRPO 阶段,涵盖多领域推理、RLHF、知识校准和数学,最后是一个 DPO 阶段,基于从模型对注入尝试的自身响应中构建的一千个在策略偏好对。
由此产生的权限规则源于这种布局,而非附加的护栏:通过执行块到达的指令是权威的,而作为输入到达的任何内容(数据、文档、工具模式、工具结果)是供阅读的材料,而不是要遵循的命令。此外,执行块中未调用的指令和数据跨度将被忽略。这是一种习得的行为,而非强制保证。要查看这在 LLMON 模型的注意力层中是如何体现的,请尝试 Hugging Face Spaces 上的 LLMON Attention Visualization。
自带词汇表 (ScienceWorld)
LLMON 不绑定固定的模式:你可以选择适合你领域的标签名称和结构,并微调一个适配器来读写它们。我们在 ScienceWorld 上展示了这一点,这是一个基于文本的基准测试,其中智能体通过每次发出一个命令并从模拟器接收分数来执行基础科学任务(例如烧水)。我们定义了一个词汇表,用于捕捉解决这些任务所涉及的规划轨迹中的结构。该词汇表包括 instr.task.goal、req.planning_policy.rule、data.state.room、data.state.inventory 和 assistant.next_action 等标签。我们使用这些标签渲染了 ScienceWorld 参考解决方案的每一步,并在 LLMON 模型之上微调了一个 LoRA。训练后的模型随后玩留出游戏,并使用新词汇表写下其下一个动作。此笔记本 介绍了完整的工作流程,从转换参考轨迹到玩测试游戏,并将适配器与未训练的基础模型进行评分对比。另一个用于工具调用智能体的示例可以在此笔记本中找到。
立即试用
这是一个实验性预览版,可供探索和评估,但不适用于生产环境。
- 模型:granite-4.1-3b-LLMON-preview & granite-4.1-8b-LLMON-preview
- 可视化演示:LLMON Attention Visualization
- LLMON 仓库:https://github.com/generative-computing/llmon
- Mellea:https://github.com/generative-computing/mellea
- 论文:https://arxiv.org/abs/2610.38120,https://arxiv.org/abs/2603.22519
告诉我们你的发现:什么有效,什么失效,以及你希望看到哪些用例。请在 GitHub Discussions 中发布。
来源:Hugging Face Blog · huggingface.co


