2026.10.17

RLVR 的迁移主张可能包含一种评估伪象：基准准确率是由答案提取器从生成文本中读取的，因此模型只要把已经给出的答案放到提取器会查看的位置，就可能获得更高分，而不必真的答得更好。本文检验了这种可能性是否会影响域外多项选择题的增益。

该方法改变的是测量方式，而非训练。对于每个基础模型–RL 模型配对、基准和提示，作者固定生成的输出，并用两种读取方式对同一批输出评分：一种是公开代码中的评测框架提取器，另一种是研究者编写的固定提取器，它会读取答案框中的答案，或指定文本位置上的答案。固定提取器对两种模型一视同仁，找不到答案时会弃答，并将弃答计为错误。格式增益是评测框架报告的增益减去固定提取器测得的增益；合并占比则是格式增益之和除以报告增益之和。

在 MMLU、MMLU-Pro 和 ARC-Challenge 上，涵盖四组已发布的 7B SimpleRL 基础模型–RL 模型配对，共有 46 组符合条件的比较；合并格式占比为 82.2%（95% 条目自助法置信区间：77.4–87.2%）。因此，在共同读取规则下，所选评测框架提取器报告的大部分增益并不存在。该数值描述的是本研究生成的输出和实验方案，而不是检查点已发布的评估分数。作者提出的机制是答案位置发生偏移：在固定提取器可读取的输出中，基础模型答案有 26.6% 包含答案框，而 RL 模型答案为 58.3%；优先读取答案框的提取器因此更倾向于读到后者。两名盲法 LLM 读取者和一名第三方裁定者在一个样本上得到 77.1% 的格式占比，但样本太小，无法确定它与 82.2% 是否存在差异。没有人类读取这些回答。

结果也会受到读取方式影响：在 112 个配对–基准–提示组合中，对完全相同的输出，评测框架报告的最大增益与最小增益的中位差为 15 个百分点（排除 simple-evals 的两种提取器后为 10 个百分点）。适用边界很重要。在唯一一个增益可分解的 Qwen2.5-32B 配对中，格式占比为 2.1%（95% 置信区间 −18.5% 至 19.9%）；论文无法将模型规模与训练配方或基础模型行为区分开来。该研究也没有分解任何已发布的 SimpleRL-Zoo 分数。其主要估计仅涉及 7B 的一个发布系列。

进行实际审计时，可先重新评估已存储的生成结果，再运行 RL：保留原始评测框架，增加一种同时接受答案框和文本答案的共同读取器，公布提取率和弃答率，并在不同提示和读取器上重复比较。此操作无需重新运行 RL，但其解释仍取决于实验方案：格式占比是配对、提示和提取器共同作用的结果，并非 RL 的内在属性。

当证据发生变化时，推理轨迹即使能提升准确率，也未必是答案所遵循的信息来源。本文区分了两种属性：通过保留轨迹前后的准确率变化来衡量轨迹贡献；当轨迹与证据发生冲突时，通过答案遵循当前证据还是轨迹来衡量冲突响应。作者在同一组证据对和已保存轨迹上同时测量这两种属性，而不是把删除轨迹当作判断来源取舍的替代方法。

此前的行为型思维链探测通过互补干预测试答案是否改变；本文则测试模型如何在轨迹与经过核实、彼此冲突的证据之间取舍。

对于每个问题，作者构造目标不同的原始证据版本和编辑后证据版本，分别从中生成轨迹，并保留那些轨迹明确说出自身版本的目标、却未说出另一版本目标的配对。随后，将每条轨迹分别与两个证据版本配对，形成匹配条件和交叉条件；交叉条件下的输出被标记为遵循证据、遵循轨迹，或两者皆非／两者皆是。延续式配置将轨迹置于证据之后的思考区块中；独立回答调用则在关闭思考的情况下，将轨迹和证据放入新的请求中。这种对比还改变了轨迹的位置、输入顺序和指令；组件测试表明，对三种模型中的两种而言，输入顺序在很大程度上解释了这种效果，但对 gpt-oss-20b 并非如此。

在使用黄金证据的 gpt-oss-20b 设置中，针对 533 组保留的 HotpotQA 配对，独立调用遵循当前证据的比例比延续式配置高 54.0 个百分点，配对自助法 95% 区间为 [+50.6, +57.4]。在受测模型中，交叉条件下有 65.6% 到 87.0% 的回答重复了过时轨迹中的结论。然而，在同一组配对上，两种配置中移除轨迹都会使准确率下降相近的幅度。这是核心的实证区别：受益于轨迹与服从轨迹并非同一属性。

在受测的 Qwen3-4B 和 Qwen3-14B 设置中，仅使用最终一行时，在两个数据集上的精确匹配分数与完整轨迹相差不超过 2.0 个百分点。在一个 Qwen3-14B HotpotQA 设置中，重新推理在交叉条件下有 86.6% 的回答遵循当前证据，而受测的验证指令并未实质性减少遵循轨迹的情况；重新推理也会生成更多文本。

结论的适用范围有限：这些冲突是通过自动编辑证据构造的，并且只保留轨迹明确表达相互竞争答案的配对。自动筛选可能仍会在编辑后的证据中留下原始答案的残余暗示；能否推广到自然更新的证据、其他任务或不那么明确的轨迹，尚未得到证实。由于配置对比同时改变了多项提示和模型细节，54.0 个百分点的结果应理解为配置对比，而非纯粹的轨迹位置干预。

对于新的评估者，应将轨迹和证据分别保存为独立材料，构造成对的证据修订，并同时报告两个数值：移除轨迹后的准确率变化，以及交叉条件下遵循证据的比例。随后改变轨迹位置和输入顺序，并将重新推理作为纠正基线进行测试。实际要问的不只是轨迹是否有帮助，还包括当轨迹与当前证据冲突时，答案遵循的是哪一种来源。

INFUSE 是一个用于评估长时程终端智能体工作流中间接提示注入的基准。其注入引擎会将植入的载荷映射到与任务兼容的攻击面，并记录智能体实际遭遇这些载荷时所在的运行时攻击面。该基准包含 40 项真实场景任务和 56 种攻击场景，覆盖五类威胁；目标攻击面包括文件名、文件内容、配置文件、终端输出和归档文件。

作者评估了来自六个模型系列的 19 个模型。最终语料包含 26,220 条未设防攻击轨迹和总计 41,824 条攻击轨迹，另有 720 次良性参考运行。

在未设防的全基准结果中，LLM 判定的平均攻击成功率为 19.6%，启发式验证的平均攻击成功率为 15.4%；各模型的 ASR-L 范围为 3.2% 至 41.9%。这两种指标反映不同结果，应结合解读：ASR-L 是 GPT-4o-mini 的评判分数，ASR-H 则检查是否出现具体攻击痕迹。一项包含 219 个条目、624 个标签的盲法人工研究发现，评判委员会相对于人工共识的 κ=0.918，而单个 GPT-4o-mini 评判者的 κ=0.527；在该样本中，单个评判者较少将情况标记为已遭攻破。

防御结果的适用范围比基准总体攻击率更窄。在选定的高脆弱性压力测试中，指令强化——重申用户任务优先级，并在观察结果后重复规则——在主要提示级干预中带来了报告的最大平均降幅，但也存在因模型而异的效用权衡；平均 ASR-L 从 58.2% 降至 14.3%。由于这些比较使用的是基线 ASR 较高的任务和攻击，因此不应将这一降幅推广到整个基准。

跨评测框架结果会重放此前已在 Mini-SWE-Agent 上被攻破、分别针对 Claude Code 或 Codex CLI 的任务–攻击配对，因此展示的是条件迁移，而非这些框架的绝对攻击率。所有任务、载荷和评判提示均为英文，且 56 种攻击均由人工编写；因此，跨语言稳健性和自适应对手尚未得到刻画。结果来自隔离的 Docker 沙箱，外传端点被导向黑洞，软件包镜像也经过沙箱隔离；因此，生产环境中的成功与否取决于具体部署的访问权限和出站流量控制。

可迁移的操作做法是：保留任务与攻击之间的兼容性，按实际遭遇的运行时攻击面分层，保留良性参考运行，并同时报告行为层面和攻击痕迹层面的攻破情况。随后先审查评判者的分歧，再判断防御降幅能否迁移。值得研究的问题是，某项防御能否在新攻击面和新评测框架下减少攻破，同时保持任务完成能力；INFUSE 提供的是测量框架，而非这一问题的答案。

诊断方法

多跳 RAG 未能找到所需段落，可能有两个不同原因：段落无法访问，或者智能体从未发出能够检索到该段落的查询。标准检索评估会将这两种原因混为一谈。A-RAG 已允许 LLM 在关键词搜索、语义搜索和分块阅读之间作出选择，因此这里的具体问题是：在不改变检索基础设施的情况下，改进状态跟踪能否诊断失败。

ExecutionRAG 是一种无需训练的需求登记表，用于记录尚未解决的子问题及其支持证据。在固定检索器、语料库和生成模型的条件下，该登记表改变搜索引导，但不改变证据访问能力。这种诊断具有非对称性：找回单独映射的黄金段落，可以证明原检索器能够访问该段落；未能找回它，则不能证明该段落不可访问。

证据与仍未解决的失败

在 1,000 个 MuSiQue 问题上，标记为缺失证据的错误答案数量，在使用 all-MiniLM-L6-v2 时从 382 降至 234，在使用 Qwen3-Embedding-0.6B 时从 383 降至 274。这些总体降幅表明，表面上的检索失败中有一部分可以挽回，但无法指出哪些具体的基线失败因此得到纠正。在匹配的 MuSiQue 比较中，LLM-Evaluation Accuracy 从 44.9 升至 50.2，而 HotpotQA Contain-Match 为 77.0 对 77.3。

随着搜索改善，错误构成也会变化：推理错误和弃答在剩余 MuSiQue 失败中所占比例上升；记录到的推理错误增加，并不能证明生成器的推理能力变差。使用 MiniLM 时，缺失证据仍占 ExecutionRAG 四跳失败的 55.3%，表明在长且连接较弱的链条中仍存在困难。作者指出：“该登记表能够引导搜索，但不能可靠地验证证据”；仍由 LLM 判断某项需求是否已解决。

有两项测量边界值得注意。黄金证据映射仅匹配了 87.9% 的支持段落，因此失败标签取决于并不完美的段落到分块映射。在 MuSiQue 上，该方法每个问题读取 7,161 个检索词元，而主要 MiniLM 比较中的 A-RAG 为 5,015 个。

研究操作

编辑建议：测试新智能体时，分别记录每项未解决需求、针对它发出的查询、映射黄金证据的找回情况、最终正确性和检索词元数。然后检验：与增加一次搜索操作相比，证据充分性验证器能否更可靠地减少错误判定为已解决的情况。

下游问答本身无法证明智能体的持久记忆是否正确：检索和生成都会影响答案质量，从而使记忆评估出现假阳性和假阴性。FEB-30 通过让存储的事实状态与最终答案一同接受检查，来应对这一问题。

FEB-30 包含 30 条事实演变轨迹，涵盖六类诊断类别和三个难度等级，每个等级有十条轨迹。FEB-30 采用范式反转：从指定的一系列事实状态出发，据此生成多文档材料，使轨迹而非经过标注的真实文档成为基准真值。该基准将每份文档中的新主张与累积形成的预期记忆状态区分开来，因此能够检验系统是否在吸收后续信息的同时保留既有知识。由此，可以在每次摄取后，依据预期状态评估记忆系统；下游问答则仍是互补的端到端视角。

可迁移的研究操作很直接：先定义原子事实状态，再生成或收集能体现每次状态转变的材料，然后分别评估记忆存储和关于最终状态的回答。两项评分之间的分歧可作为诊断信号，而不必将其中一项选作唯一的替代指标。

对于受测记忆系统，内在事实状态准确率与外在问答准确率的平均绝对差为 16.8 个百分点；约 44% 的轨迹超过了论文设定的 15 个百分点分歧阈值。该系统正确分类记忆操作的比例仅约为 20%，而下游问答分数无法直接衡量这一诊断指标。在这项评估中，系统的操作分类准确率随基准难度增加而下降，从 L1 的 33.8% 降至 L3 的 10.1%。在测试的四种配置中，内在表现与外在表现的差异始终存在，但差异幅度有所变化。

这些结果用于诊断，并非对记忆架构进行广泛比较。基准规模较小，限制了对不同类别、难度等级或系统进行细粒度比较。其合成及混合生成的文档未必能迁移到真实世界的材料序列；论文指出，需要使用经人工标注的真实序列进行验证。内在评分采用嵌入相似度阈值，再由 LLM 判断蕴含关系，因此报告分数取决于这些测量选择。该基准还聚焦于多作者材料中的事实演变；不涵盖情景记忆或程序性记忆，也不涵盖单轮对话回忆。

阅读 FEB-30，可以了解一种具体方法，区分“事实存储有误”与“系统检索或表达有误”，并在将下游问答解释为记忆评分之前检验这种区别。