2026.11.08

问题。 论文指出，现有审批器——从基于规则的检查器、护栏模型到已部署的权限分类器——都是根据请求和命令文本作出决策。论文指出一个具体盲点：行为还取决于调用的代码和工作区状态；而观察文件变化的系统，可能会把评估留给执行后的智能体或人工完成。

方法。 Caper 将审批从根据文本预测后果，改为判断已记录的执行结果。它会在快照沙箱中预执行每条命令，向独立审批器提供有界的观测效果报告，允许执行的命令会被提交，拦截的命令则会被回滚，并附上智能体可以据此采取行动的理由。具体而言，命令在追踪模式下运行一次，输出暂不提供；审批器将报告与用户任务进行比较，而一旦拦截，就会恢复快照，不让智能体看到被修改后的状态。该设计只使本地容器状态的回滚具有事务性，并不涵盖外部效果：实验沙箱禁用了网络，论文指出，部署需要录制代理等隔离机制。

证据。 在 682 项仅涉及 shell 的 SABER 任务上，论文报告 Caper 的有害结果比例为 6.7%，而六种对比系统中每种至少为 14.8%。这项比较使用修订后的 SABER 判定标准：作者报告，使用发布版判定标准时结果为 9.0%，审计并纠正误报后为 6.7%。在受控的 YoloFS-Ext 上，Caper 在危险任务上的有害结果比例为 7.8%，在这些任务上的安全完成率为 60.8%，在与之对应的安全任务上误拦截率为 1.0%；这些指标的分母不同。最能说明机制的测试固定审批器不变：与预测效果相比，观测效果减少了误拦截，即使预测效果在某些情况下能减少危害。因此，一种有用的复现实验是只替换证据来源，并分别报告危害和误拦截。

边界。 该门控只覆盖 shell 命令，并不涵盖所有工具；一次观测到的执行也可能无法代表会随时间、随机性或环境变化的行为。基准还未纳入自适应攻击者，以及延迟或拆分有害行为的攻击。最后，结果是单次运行的任务结果，且可接受性判断使用了 LLM，因此报告的比率不能证明这种保护适用于不同智能体、工作区或部署环境。

搜索基准可以显示，当用户询问近期更新后，智能体能否找到该更新；但它们可能无法揭示智能体是否意识到某个未明说的假设需要核查。BlindToChange 通过成对探针弥补这一缺口：直接问题明确询问近期事件，而间接推荐请求省略该事件，尽管答案会因它而改变。

该基准从 Wikidata 自动抽取变化事件，并以受死亡或正式任期结束影响的推荐任务实施评估。对于每个模型，作者在禁用搜索的条件下，为每个候选间接探针采样三份回答；仅当三份回答都推荐了因更新而失去资格的实体时，才保留该探针。这一模型特定的过滤减少了偶然遗漏，但也意味着，标题中的差距应被解读为某一模型设置内部直接与间接任务的对比，而非干净的跨模型排名。

核心结果显示，被提示时检索更新与发现该更新重要之间存在很大差距。在死亡探针上，原生运行框架中的表现显示，低投入时直接与间接准确率的中位差为 40.5 个百分点，高投入时为 27.5 个百分点。在共享运行框架分析中，在 13 个配置中的 15 个配置里，没有搜索或只进行无关搜索的轨迹，占死亡探针失败案例的至少四分之三。在死亡事件上，从低投入转为高投入，平均使这类失败减少 28.9 个百分点，几乎与间接准确率平均提升的 28.1 个百分点相当。

因此，可迁移的评估操作是记录搜索决策，而不只是记录检索到的证据：将一个点名更新的问题，与一个答案依赖该更新的间接任务配对，再按是否发生相关搜索来分类失败。应分别报告直接和间接表现，因为较高的直接得分可以与未能发起所需核查同时存在。

适用范围很重要。所评估的数据集涵盖 2,078 起死亡事件和 751 项任期，日期介于 2026 年二月至六月，因此这些结果并不能确立其在其他变化事实或推荐场景上的表现。论文还指出，该基准不涵盖影响更为遥远的下游效应；在这些情形中，相关更新可能无法从答案自身的假设推断出来。

论文将“证据绕过”定义为：文档发生变化、转而支持另一个答案后，模型仍保留原本正确的答案。在主要的 QASPER–4B 设置中，标准在线策略蒸馏（OPD）将原始文档准确率从 49.0% 提高到 52.4%，但将反事实准确率从 44.5% 降至 39.2%，并将条件绕过率从 20.1% 提高到 35.8%。配对交互效应为 −8.7 个百分点，表明训练导致的正确性变化在原始文档与改变答案的文档之间有所不同。

该评估通过测量这种差异，而不是从解释中推断它。评估使用匹配的文档干预，在保留问题和无关上下文的同时，改变文档所支持的答案。评估还包括保持答案不变的释义、无关内容插入和证据删除。保持答案不变的对照保留了 OPD 在原始文档上的大部分增益；而改变答案的证据、证据删除以及主张支持度评估，则显示出对证据敏感的行为正在恶化。绕过率比较以每个模型在原始文档上答对的样本为条件，因此并非在完全相同的样本子集上进行比较。

一个有用的诊断指标是学生模型蒸馏前的闭卷偏好：在 QASPER 和 PeerQA 上，OPD 导致的绕过率从先验最弱四分位组的约 5 个百分点，上升到先验最强四分位组的 20 个百分点。在测试过的单轴干预中，将经过标注的答案关键片段提供给教师模型，带来了最强的证据响应与主张支持联合结果；但这是一个预言机信息条件，因为学生模型并未获得该片段。

论文提出的修复方法是证据配对 OPD（EP-OPD）：使用经验证的一对样本进行训练，并在长度归一化的答案分数上加入间隔项，要求每份文档都更偏向其自身支持的规范答案，而非配对的另一个答案。在 QASPER–4B 上，EP-OPD 将反事实准确率提高到 42.7%，弥补了标准 OPD 反事实准确率损失的 66%，同时保留了其在原始文档准确率上的大部分增益。在使用 Qwen3-1.7B 和 Qwen3-4B 的 QASPER 与 PeerQA 上，该方法弥补了 OPD 反事实准确率损失的 54–66%，同时保留其原始准确率增益的 80–85%。

对研究人员而言，可迁移的做法是构造证据支持不同答案的匹配输入，然后同时评估答案准确率和证据响应能力。其边界很重要：这些诊断衡量的是行为层面的证据响应能力，而非直接验证内部推理。主要准确率评估涵盖可回答的科学文档问题，且规范答案类型有限；证据响应能力不应等同于事实性或对虚假、对抗性文档的鲁棒性。

论文探讨的是：智能体何时不应再把访问日志当作自己的记忆。其可执行基准在已知策略下涵盖授权、撤销、恢复授权、到期、群组和变更窗口；测试对只在事件顺序或决定性事件的某个字段上有所不同。论文提出的设计将记忆视为递归过滤：由 LLM 将每个事件解析为带类型的更新，再由显式转移规则应用更新，读者接收由此得到的状态，而非完整日志。

在首个合成访问控制领域中，长上下文基线的表现会随历史长度增加而下降。在 256 个事件时，测试的两个 Qwen 读者的 AUC 降至随机水平，而 phi-4 的 AUC 为 0.68。对于经过推理训练的 32B 模型，读取状态的表现强得多，在论文报告的比较中达到 96% 和 98%。但这个表面上的交叉点并非普适的上下文长度上限：对于 gpt-oss-120b，在 256 个事件时，已注册的解析状态相较于完整日志读取的优势并不存在；在已注册种子下，1,024 个事件时则达到已注册的优势幅度；第二个种子产生的领先幅度更小，未达到该幅度。

实现结果比标题式比较更能揭示问题。在 256 个事件时，解析器加显式规则的过滤器使用 Qwen2.5-14B 达到 0.80 的平衡准确率，使用 phi-4 达到 0.84，距预言机状态不超过 0.03。在相应的消融实验中，解析带来约 0.03 的误差，状态解码带来 0.14–0.17 的误差，模型应用转移则另外带来 0.21–0.26 的误差。在这个长度上，如果查询时同时拥有档案和查询，预言机依赖检索器可以达到与过滤器相当的表现；过滤器在操作上的不同之处，是在查询尚未知晓时就在线选择依赖项。

可迁移的研究做法是分别评估这些阶段：事件解释、确定性状态转移、状态呈现和决策读取。这种拆解可以揭示，所提记忆方法究竟需要更好的解析器、更安全的转移机制，还是更易读的状态界面。其适用边界很重要：两个评估领域都是合成的，且规则在提示中明确给出；过滤器最强的结果依赖由人编写的转移规则，而状态读取本身也并非始终可靠。第二领域的冻结式复现只有在明确处理到期情况的呈现方式下才复现了该临界范围，因此这一结果应当用于指导受控的记忆实验，而不应视为长上下文模型的一般规律。

论文从确认式验证中的一个具体盲点出发：错误操作可能通过那些只检查操作是否正确的检查。在文中给出的比较中，ACCORD 已经会针对拟议写入报告以操作为条件的依据，因此 BlackSwan 所声称的增量是改变验证目标，而不是发明执行前依据核验。

对于每个拟议的状态修改操作，BlackSwan 首先预测该操作预期产生的、与任务相关的效果。随后，它会在收集新证据之前，针对该效果可能出错的方式提出具体且可通过经验检验的疑点。已有观察或额外的非修改操作会用于检验这些疑点。若有疑点得到证实，就会拦截写入并要求替换；若没有疑点得到证实，原写入就会继续执行，即便仍有一些疑点尚未解决。

最有力的机制证据来自 AppWorld 测试挑战消融实验，实验中关闭了思考功能。明确列出疑点时，反驳式验证使任务目标完成率提高了 5.6 个百分点；疑点仅隐含存在时，提高幅度只有 0.1 个百分点。预先固定疑点后，反驳式验证使任务目标完成率提高了 8.9 个百分点，而确认式验证下提高了 3.4 个百分点。这支持将“什么情况能够证伪这一操作？”作为一个明确的测试前对象，而不是让验证器的顾虑停留在隐含状态。

主要结果有条件限制，但幅度显著：使用 Qwen3.5-27B FP8、一个上下文示例并启用思考功能时，BlackSwan 在 AppWorld 挑战集上的任务目标完成率和场景目标完成率分别比最强基线高 14.9 和 19.2 个百分点。在相应设置下关闭思考功能时，领先幅度分别为 25.2 和 20.2 个百分点。因此，一种实用的研究做法是记录操作局部的预期效果，预先登记证伪条件，并在允许写入前将每项标记为已证实、已排除或延期处理。

覆盖范围和成本限制了可得结论。写入级验证无法直接发现智能体从未提出的必要操作；论文的失败分析报告，遗漏是最常见的错误。在报告的 AppWorld 成本分析中，所列骨干模型完成的任务数是原来的 1.39–2.25 倍，成本则是原来的 1.5–9.4 倍。真实的歧义也可能在连续的提议中反复出现，从而增加验证成本。最后，报告中的 BlackSwan 和 ACCORD 结果使用了不同骨干模型和评估条件，因此不能据此得出匹配条件下的性能排名。