2026.10.20

这篇论文为何重要

LLM 智能体可能在必需检查失败后仍接受报告，也可能满足于较弱的结论，而不尝试其他仍可能成功的路径。PRIME 通过将检查生成与报告授权分离来应对这一问题：智能体可以提出行动，但由运行时决定已记录的证据允许得出哪些结论。

方法

PRIME 在检查开始前冻结备选证据路径。每条路径由一组合取的证据条件构成；完成某条支持某个结论或更强结论的路径后，系统才授权相应报告。外部运行时会在台账中记录检查结果，阻止未完成相应路径的结论，并指出可能支持更强结论但尚未解决的检查。智能体停止后，还可选择继续完成这些检查。因此，同一种路径表示承担两项功能：约束允许报告的内容，并引导在预算范围内收集证据。

证据

在 SUFFICE 的 480 个任务划分上，在可执行要求和确定性解析器条件下，充分获知信息的 Qwen2.5-32B-Instruct 智能体出现错误授权的比例为 26.7%，而 PRIME 为 0.0%。在这一基准测试中，让智能体看到其要求和台账并不能阻止它提交缺乏支持的报告；由运行时执行约束则可以。PRIME 的指引和新增检查使有依据结论的平均分数从仅使用拒绝时的 30.1 提高到使用补全时的 59.2。这些分数结果使用 Qwen2.5-32B-Instruct，预算按工具请求数计算，而不是按匹配后的模型调用总数或令牌数计算。

适用边界与研究用途

“授权不等于真相”：门控机制认证的是结论与预先承诺的要求及台账相一致；因此，错误的要求或被接纳的错误观察仍可能导致错误结论。可执行的 SUFFICE 参考标准也无法证明系统在经过独立验证的组织政策下具有同等表现。确认性证据集中于一个模型，且每个任务只进行一次贪心运行；其他模型和解码设置属于次要分析。在另一项包含 240 个任务的文本判断实验中，PRIME 的错误授权率仍为 4.6%；第二次判断将其降至 0.8%，但降低了有依据结论的效用、增加了模型调用次数，而且并非总计算量匹配的比较。

一种有用的复现实验是，为分级结果实现路径台账，并在相同的模型调用总数和令牌预算下比较仅门控、路径引导以及停止后补全这几种变体。关键问题不只是缺乏支持的报告是否消失，还包括每增加一单位验证成本能挽回多少有依据的效用，以及当要求和证据判断可能出错时，结果会如何变化。

经过演化的 harness 可能在搜索集上取得更高分，却无法证明在该集合之外也有相当的提升。本文针对这一评估缺口：搜索集上的改进可能同时包含基准特定的过拟合、额外的推理时计算，以及普遍性仍未知的剩余变化。Harness-Delta Attribution（HDA）旨在分析围绕固定权重模型进行的 harness 演化。

对于每一组基线与演化后版本，HDA 首先只保留在搜索集上具有统计显著性的增益。随后，它构造两个受控变体：一个计算量匹配的基线，其推理时资源消耗相当；以及一个经过中和的演化版 harness，其中检测到的基准特定捷径被尽可能少地禁用。分析智能体提出匹配和中和程序，由人工审阅者在两个依任务而定的检查点进行核查。HDA 将计算扩展贡献定义为计算量匹配基线带来的增益，将过拟合贡献定义为中和捷径后损失的分数，并将其余部分视为剩余改进。

证据表明，这种归因会实质影响判断。在 11 个执行器模型和三种演化框架的测试中，有 21 种设置显示搜索集增益具有统计显著性。在这些设置中，过拟合平均解释了增益的 54%，测试时扩展解释了 14%；两者合计在 14 种设置中超过 50%。三种受测演化框架都独立编码了同一个 LiveMath 工件。迁移表现也很脆弱：排除 ALFWorld 后，在 15 种设置中，有 13 种的留出集增益小于搜索集增益；其中八种不到搜索集增益的一半，且四个演化后的 harness 在测试集上的分数低于基线。基于验证集的选择也未能消除这个问题：在 Meta-Harness 的 16 种设置中，它在 10 种设置中提升了留出集表现，在六种设置中则使表现下降。

由此可以得出一种有用的研究做法：分别报告搜索集显著性检验、计算量匹配基线、捷径中和后的 harness 和留出集结果，而不要只呈现一个汇总改进值。应将剩余部分视为审计界限，而非已测得的迁移表现。HDA 将过拟合解释为下界估计，因为隐式或相互纠缠的捷径可能仍然存在；它将剩余部分视为可泛化改进的上界，并报告了一些名义上完全由剩余部分构成搜索集增益、却仍在留出数据上退步的案例。最后，留出划分可能共享工件：LiveMath 的答案选项模式在不同划分之间相同，而 ALFWorld 的模拟器规则也贯穿各个划分。这些条件意味着，考虑归因的评估是独立迁移测试的补充，而非替代。

自动研究循环可以生成许多实验想法，但仍需估计某项变更是否值得投入一场耗时很长的训练。本论文将这一操作层面的缺口转化为可测量的目标：在执行前预测 LLM 提出的单项 ML 实验的影响，再将预测与实际结果比较。因此，研究重点是数值结果预测，而不只是提出想法或最终完成一个出色的方案。

作者汇集了八项 MLE-bench 任务中由 LLM 提出的 288 个想法；其中 19 个因运行失败或预测无法使用而被剔除，最终有 269 个想法进入分析。随后，五个前沿 LLM 在训练前分别预测每个想法的影响，并将预测与测得结果进行比较。研究先将预测变化和结果变化置于同一归一化尺度，再报告汇总 R² 以衡量拟合度，并用拟合斜率衡量幅度校准。

汇总预测表现最强的是 Claude Opus 5.5，R² = 0.49；其次是 Claude Fable 5.1，得分为 0.41，以及 GPT-6 Astra，得分为 0.38。所有受测模型都低估了大幅分数变化的幅度：拟合斜率范围为 0.21 至 0.61。预测质量也因任务而异：Opus 5.5 在有毒评论分类上的 R² 达到 0.94，而在犬种识别上仅为 0.39。在这项评估中，判断变化方向比预测变化幅度容易：Opus 5.5 对 82% 的想法预测了正确方向。较高的推理设置有助于表现最强的三个模型，但并非对全部五个模型都稳定有效。

值得借鉴的做法是从不同维度评估实验预测器。对每个已执行的想法，记录预测值和观测到的归一化变化；分别报告方向准确率、R² 和拟合斜率；然后按任务类别分层分析这些指标。利用得到的校准证据，决定在实验选择中应给予预测多大权重，而不要把符号方向正确当作幅度估计可靠的证据。

适用边界不可忽视。每个想法只运行了一次，因此结果噪声尚未量化，可达到的预测上限也未知。研究涵盖八个小型 ML 问题，而非大规模模型训练。结果也仅适用于最终保留的 269 个想法，因为生成的 288 个想法中有 19 个在运行失败或预测无法使用后被排除。

长时程智能体可以从失败中学习，但失败记录的价值可能随着执行进程而变化。RECAP 研究的是：相较于保留完整历史的 KEEP，保留、压缩或删除一段历史记录能否改善后续执行。

在每个保留的检查点，RECAP 都会重放相同的环境状态，并将匹配的 rollout 随机种子分配到三种处理方式。KEEP 保留该记录块；COMPRESS 将其替换为确定性摘要；DROP 则删除选定的消息对及相应的重复失败提及。一项使用五个种子的纵向案例固定了失败记录块及其摘要：压缩在较早状态下效果不佳，但在较晚状态下能够节省成本。

RECAP 的提议阶段只使用前缀信息，以此关联失败记录块与当前执行。它预测 COMPRESS 和 DROP 可能造成的损害及归一化令牌收益，提出收益较高的编辑方案，并要求两道门槛都通过；否则就返回 KEEP。随后，独立的任务包校准使用单侧 Clopper–Pearson 界，在冻结的候选策略中进行选择，以检验两项任务级损失：被选中的有害检查点，以及非正的汇总归一化收益。其保证以校准任务包和未来任务包独立同分布，并遵循相同的固定抽样与测量协议为条件；它不会为单次编辑提供认证。

在 Hunyuan-A13B-Instruct（FP8）上，RECAP 编辑了 37 个留存测试检查点中的 43.24%（共 16 次编辑：10 次 COMPRESS、6 次 DROP），观测到的后续执行成功率与 KEEP 相当，并在 111 次后续执行中将无条件平均后续提示词成本降低 4,619.8 个令牌（2.13%）。在五种骨干模型上，其配对成功样本的节省量点估计均为正，而观测到的后续执行成功率与 KEEP 相差不超过 1.6 个百分点；这些节省量是在由选择器决定的联合成功子集上取平均，并非对所有后续执行取平均。

值得借鉴的研究做法是固定一段失败记录，在多个检查点比较匹配的 KEEP/COMPRESS/DROP 分支，并分别记录成功率和提示词令牌成本。这检验的是编辑能否迁移到不同执行状态，而不是压缩是否处处有用。

其研究范围比序贯在线记忆适应更窄。研究在每个匹配的后续执行中只评估一次干预，因此并未提供在完整、持续演进的过程中反复调整上下文的证据。主要评估使用经过筛选的 AgentCE-Bench 规划任务和留存检查点；它不能证明该方法适用于基线轨迹未成功的情况或其他部署环境。对于 Hunyuan，状态依赖的选择并不能证明模型学会了区分有害性，因为所有开发集有害性标签均为零；测试中未观察到伤害，也不代表总体风险为零。

这篇论文为何重要

攻击成功率（ASR）把所有注入失败都作同一种解释：防御成功。本文通过对标准工具智能体执行轨迹中的实际情况进行分类，并加入安全性—任务完成度视角，审视了这一指标的局限。

方法

作者使用不知晓标签的 LLM 评审器，审计了 InjecAgent 和 AgentDojo 上来自十一种开放权重智能体（参数量为 2–14B）的 33,000 条轨迹。他们还在 InjecAgent 上固定模型权重和攻击，仅改变系统提示词策略，并比较不同服务精度。对于同时具有两种判定结果的 AgentDojo 任务，ATOM 将攻击成功与用户任务完成情况交叉分析。

这项研究不同于专门构建的 SecFid 基准；后者已经区分执行注入、将其作为任务数据处理以及忽略注入。本文的有用增量，是将失败行为标签应用于标准基准轨迹，并呈现 ASR 单独使用时会掩盖的逐回合安全性—效用结果。

在基准判定为失败的案例中，评审器将 AgentDojo 中 76.3% 和 InjecAgent 中 80.3% 的注入判为被忽略；明确拒绝分别占 18.0% 和 17.2%。识别到攻击并不意味着能抵御攻击：在评审器标记为已识别的轨迹中，智能体仍分别在 AgentDojo 的 28.9% 和 InjecAgent 的 16.9% 案例中执行了攻击者的操作。在匹配的 InjecAgent 提示词测试中，系统策略改变后，汇总 ASR 从 0.2% 升至 43%；Interdict 提示词则将其降至 0.22%；模型权重和攻击均未改变。在 AgentDojo 中，审计回合有 21.7% 属于安全但功能失常：攻击失败，但用户任务未完成。与 FP16 相比，NF4 将 ASR 降低了 2.33 个百分点，同时使安全且有用的回合减少 3.97 个百分点，并使攻击下的效用降低 4.75 个百分点，因此在这项评估中，较低的 ASR 并不意味着安全性更好。

这些结论有其适用边界：实验使用两个合成的单智能体基准，注入内容是静态的，因此不能证明系统能够抵御自适应攻击者或白盒攻击者，也不能证明其适用于多智能体场景或实际部署。33,000 个标签由一名 LLM 评审器给出；150 个人工验证样本在四分类分组上的一致率为 96%，在六个标签上的一致率为 86%，而对 InjecAgent 六标签判定的一致率为 77.33%。对攻击的识别是根据明确陈述的推理来推断的，因此可能被低估，也未必能揭示内部原因。ATOM 仅适用于 AgentDojo；提示词策略干预仅在 InjecAgent 上进行，且未测量用户任务效用。

下一步评估可同时报告 ASR、失败机制和任务完成情况，然后在系统提示词策略和服务精度变化的条件下，用相同模型和攻击重新测试。研究问题不应只是“攻击是否失败？”，还应是“智能体是拒绝、忽略、因机制原因失败，还是安全地完成了用户任务——这些标签在条件改变后是否依然成立？”