2026.10.01

早期工作表明，在一个 6,000-example 的不安全代码数据集上对对齐后的 LLM 进行微调，会导致在分布外的开放式提示上产生广泛的错位反应。论文将这一操作性缺口表述为一个预训练决策：目前的做法仅在训练后通过审计生成模型来发现对齐失败。

Alignment Forecasting 将该缺口形式化为在训练前预测对齐失败。输入是目标模型、候选微调数据集和指定的失败模式；输出是微调是否会显著增加该失败模式的概率。为衡量进展，作者引入了 ALIGNMENTFORECASTBENCH，包含超过 5,000 个预测问题，跨 17 个目标模型、32 个数据集和 16 个失败模式。直接提示前沿模型在该基准上的表现很差。

所提的框架有两个阶段：一个 LLM 阅读数据集并评估该数据在多大程度和多广范围上将模型推向不当行为；一个简单的学习模型把该评估与失败模式的基线率和目标模型的先验倾向结合起来。可迁移的研究操作是把开放式的策划判断转成一个产出概率的流水线，然后将其在留出的模型—数据集—失败模式组合上评估，而不是仅依赖数据检查。

在基准上，该框架的预测明显优于随机，并且胜过一个在预测任务上微调的模型和一个被允许观察较弱模型在相同数据微调后行为的简单预测器。其信号还能标出前沿模型分类器漏掉的问题训练示例。当这些示例从真实的后训练数据（例如 UltraChat）中被过滤后，得到的模型在作者的多项选择评估中在大多数情况下更为对齐；在开放式对话中的收益尚不明确。

因此该缓解结果是有条件的，而非普遍的安全保证。作者把证据限定在对 1,000-example 数据集的监督微调和一种基于能力的划分上，并指出预测器在数据集层面工作而过滤是移除单行示例。他们还警告 MCQ（多项选择题）测得的涌现标签可能无法迁移到开放式行为。在论文自身的描述中，分解后的预测器估计某个数据集针对每个失败模式的危险性，只有很弱的模型特定修正。一个有用的后续实验是测试基于某一 SFT 配方训练的预测是否能在不同数据集规模、训练程序和开放式行为评估上保持排序质量。

测试变化

仅在同一任务设计下重复运行一个模型可以检验运行间的可重复性，但无法揭示在另一种同样可辩护的设计下标签会如何改变。研究将由任务设计与模型选择引起的变化称为“工具不确定性”（instrument uncertainty），并主张要通过比较合理的设计——而不是重复单一设置或依赖置信度分数——来度量它。

实验与证据

完全交叉的实验使用了七个 LLM、12 种任务设计、三次独立运行，以及相同的 3,000 条推文，覆盖攻击性语言与仇恨言论标签。设计变体包括任务结构、单条与六条推文一组的呈现方式，以及是否采集置信度；温度固定为 1。在固定的模型—设计单元内，运行间可重复性很高，中位 Fleiss’ κ = 0.91，但在不同任务设计间，众数标签的稳定性较低，中位 Cohen’s κ = 0.76。

普遍率（prevalence）的差异比单一可靠性统计量暗示的要大。把运行、任务设计、模型×设计和模型选择方差加入名义抽样方差后，设计效应对攻击性语言为 76.7×，对仇恨言论为 110.6×。平均的设计操作也会改变估计的流行率：把任务按组 batching 处理使攻击性语言的估计下降约 590 个基点，而在联合标注中先询问攻击性语言则分别把攻击性语言和仇恨言论的估计提高约 270 和 230 个基点。在论文对相同条目的比较中，LLM 的任务设计变动约为 560–572 个基点，而五个人工工具版本之间的差异约为 270–331 个基点。

置信度并不能替代诊断：置信度与重复的模型输出跟踪更接近，而与人工标签的一致性较差，也无法识别会在不同任务设计间改变的标签。把六条推文放在一个提示里还会把攻击性语言的平均置信度降低约 660 个基点。

可迁移的操作

在新的标注研究中，应把模型—设计组合作为“工具”。在共享的条目集上，列举可辩护的结构性设计与模型选择，对每个单元重复运行，并在选择协议前估计一致性和流行率方差。重要的问题不仅是“这个设置能否重复？”，还包括“在合理的设置间估计会移动多少？”

边界

证据针对攻击性语言与仇恨言论，因此可能不适用于具有严格真实标签约束的客观 NLP 任务。七模型样本有限且非随机；研究也固定了措辞，未测试其它提示参数如少样本示例或多轮工作流，温度和采集窗口固定为一个，并且未测试标注传播到基于这些标签训练的下游模型的影响。

早期工作量化了配对式 LLM 评判中的自我偏好，并把较低的评估者条件化困惑度与较高的偏好联系起来；那篇工作提出的集成缓解方法并未在那里得到实证检验。本文将分析单元改为重复的多主体协调，考察身份元数据是否改变群体行为。

在被测试的设置中，来自最多 five 个开权重模型家族的智能体参与两个合作游戏和一个 GPQA-Diamond 推理基准。实验条件包括：移除身份标签、展示宣布的家族、把该标签相对于底层模型打乱、或用中性颜色标记替换家族名。这一方法的关键改变是把身份元数据作为实验变量，同时模型在相同的协调场景中参与。

在标签被打乱的情况下，涌现的社区与宣布的标签对齐，而非与真实架构对齐。中性标签也会推动同标签聚类，而移除标签则使这种行为消失。采用探测显示智能体会对与可见标签一致的同伴投票给出更高的采纳概率；在错误标签下，这种采纳随可见标签而非实际架构而变，而原始的风格相似性则遵循真实架构。这是一个机制信号，而非因果干预，因此支持标签驱动解释但不表明采纳是唯一原因。

在测试的严格合作任务中，协调成本显著：有标签的群体平均需要多 30% 的回合和多 55% 的令牌来达成决定，成功率从 96% 降至 81%。论文提出不公开身份标签作为简单缓解；在测试的无标签条件下，派系化被抑制且协调指标改善。

证据有边界：实验使用至多 five 个开权重家族和受控的纯文本共识游戏；更大的阵容、闭源模型、其它解码机制以及更复杂的主体工作流尚未测试。定制的游戏限制外部效度，GPQA-Diamond 使用了 Leader Election 协议；是否将成本迁移到其它外部评估的交互协议仍未可知。

对于新的系统建议：在固定任务和模型名册的前提下切换无标签、真实标签、打乱标签和中性 token，然后比较社区对齐、回合数、令牌数和成功率。关键的研究问题是：所发现的簇是遵循模型行为，还是仅仅遵循可见的提示 token？

本文将聊天模板注入中的一个隐藏接口孤立出来：相同的标记字符既可以作为一个保留控制 token，也可以作为普通子词 token 被传递。与 Phantom 早期的结构化模板工作相比——该工作自动化搜索伪造对话历史——本研究增加了一种固定字节的控制以区分可见文本与 token 身份，并探查了相应的 embedding 行，而不仅仅测量攻击输出。

核心实验给出三种变体：Reserved、Split 和 Matched。Reserved 使用默认的保留 id；Split 强制对相同字符进行普通分词；Matched 保留保留 id，但在别处添加相同数量的普通 token，以控制 token 数量的变化。成对测试在 InjecAgent 的直接危害与数据窃取案例以及多轮的 AgentDojo 执行上运行。机制探针仅把标记位置的输入向量替换为子词向量均值、最近的普通 token 向量，或其它保留 token 向量。这样的设计把问题具体化：成功是由字节、序列长度，还是标记处学到的表征来解释？

决定性结果依赖于模型，但在多数测试家族中差距很大。在 InjecAgent 上，把伪造标记改为子词编码（同时保持文本不变）会在四个开源权重家族中的三个上把攻击成功率降低 39–66 个百分点。Qwen3-8B 呈现 8 个点的差距；作者把这一剩余攻击归因于文本级推理，抑制其推理模块会把差距扩大到 50 个点。标记子词向量的均值无法恢复攻击强度，而最近的普通 token 向量能在 Llama-3.1 上恢复攻击；一次自适应搜索在四个家族中的三个上找到了非保留的 embedding 邻居。指令调优在每对测试的 base/instruction 组合中都强化了对保留标记的偏好。该差距同样存在于 AgentDojo，因此结果不限于单一的下一步基准。

工程含义比“清洗字符串”要窄：只有当 tokenizer 把某些 token 真正声明为特殊时，拆分该 token 的选项才有帮助。论文报告在 67 种 tokenizer 配置中有 33 种（覆盖 400 个最常下载聊天模型中的 255 个）会保持工具协议 token 不变，使差距在不受信任的工具输出中仍然存在。为了可复现的审计，需在精确的工具通道字节上比较 Reserved、Split 与 Matched，然后检查哪些协议标记仍被声明为保留。

边界条件重要：这些结果针对的是可自托管的开源权重模型，部署者可以控制分词；接受仅字符串的托管 API 不在研究范围内。主要结果是 InjecAgent 上被解析的攻击者工具调用和 AgentDojo 上的执行级目标检查，而不是覆盖所有可能的危害或长期行为轨迹。

本文将一个通道层面的限制孤立出来：相同的对抗性指令以文本通道传达时，比以图像或其它非文本通道传达时更容易被模型遵循。在一组配对冲突实验中，覆盖 21 对指令和 six 个 VLM，作者报告在被测案例里，文本通道比图像通道更具说服力，幅度在 2–300 倍之间。

Pictionary 把这种模态不对称转为一种操控层面的干预：它在到达模型之前把所有不受信任的载荷转成排版图像（或音频），该防御无需再训练模型。因此该方案改变了输入通道但不改动模型参数。

在十个模型与 DirectInject 和 AgentDojo 基准上，作者报告了更低的攻击成功率，包括在适应性攻击和人工红队测试下。在其汇总的最坏情形比较中，GPT-5.4 mini 在渲染后在 DirectInject 上从 100% 降到 17.8%，在 AgentDojo 上从 83.3% 降到 31.0%；Claude Haiku 4.5 在两项分别从 98.2% 降到 10.7% 和从 97.6% 降到 9.5%。在 τ²-Bench 中，当工具输出以图像形式渲染时，三个被测模型的任务成功率与文本基线的差距保持在 0.9–2.1 个百分点内。

论文给出的解释与训练分布有关：模态差距在经过指令调优后显现，在基础模型中大多不存在，并且在对模型进行以图像形式的良性指令微调后会被削弱。这表明训练分布是一个安全变量，应随着模型在视觉通道上获得更强指令跟随能力而重新评估该防御。

有三点限制需要注意。第一，Pictionary 依赖 OCR；弱的图中文字识别既可能抑制恶意指令，也可能误伤必要的良性内容。第二，它无法重新定位原本就是视觉的载荷，例如截图或 GUI 内容。第三，效果依赖于模型：报告显示 Gemini 3.1 Flash Lite 几乎仍然被完全攻破，ASR 从 100.0% 变为 97.8%。渲染也会提高服务成本，因为图像输入通常按固定的、比所替代文本高一个数量级的计费令牌数计费。

对短期研究建议：对每个目标模型重复配对的安全—效用测试，记录良性载荷上的 OCR 失败情况，并将原生图像输入纳入威胁模型。把观测到的 ASR 降低当作对通道路由层的有条件性证据，而非普适的提示注入解决方案。