2026-11-03
2026-11-03
Aligned RAG Evaluation 将被预防的投毒结果与防御引入的肯定例区分开来
Prevented is Not Protected: What Attack Success Rate Hides about RAG
攻击成功率（ASR）可能掩盖防御引入的失败，也可能掩盖表面上的防止攻击究竟由何种机制产生。Aligned RAG Evaluation 针对这一测量问题提出了匹配查询方案：它不只概括启用防御后的中毒条件，而是针对同一查询、目标、回答模型和解码策略，记录干净与中毒检索分别在关闭和开启防御时的结果。
每个回答都可以通过目标字符串匹配或 LLM 评审进行标注。该方案统计预防、引入、中毒目标净减少量 N、干净目标变化量 H 和因子对比 Γ，同时保留中毒目标的绝对比例。因此，解读 Γ 时必须同时参考 N、H 和绝对比例：在 HotpotQA 的单次投毒 TrustRAG 案例中，Γ=12 完全来自干净上下文中多出的 12 个目标肯定例，而中毒上下文中的肯定例并未减少。
在 HotpotQA PoisonedRAG 的 100-query 单元中，投放一个毒化内容时，TrustRAG 预防了 20 个肯定例，同时引入 20 个，最终有 60/100 个肯定例；投放五个毒化内容时，预防了 65 个，并引入一个，使肯定例从 96 个降至 32 个。这些计数改变了对所报告的两种投毒预算的解读。
评分方式也很重要。在同一批保存的输出中，HotpotQA 投放一个毒化内容时，未防御运行和 TrustRAG 运行的字符串匹配肯定例均为 60 个，但 LLM 评审分别将其中 35 个和 11 个判定为目标认同；在 NQ 上，字符串匹配肯定例更偏向 KeywordAgg 而非 TrustRAG（42 对 46），而评审判定的认同则为 20 对 7。评审标注还包含单独的不确定类别，因此不应只根据字符串匹配来判断排序。
为检验机制，研究移除中毒段落并重新运行生成，包括仅投毒和每次投放一个毒化段落的控制。在 NQ 的五个注入段落设置中，有 92 个案例的目标字符串匹配结果为肯定，且至少有一个单独注入的段落足以在 91 个案例中产生该结果。拆分知识探针在 27 个目标肯定回答中仅发现 7 个严格的组合案例，因此在该实验中，对知识组合的依赖属于少数情况。
适用边界很重要：主要 PoisonedRAG 对比使用 100-query 单元，查询按每十个为一组共享注入段落；这些防御是经过适配的实现，并非对原版的精确复现。TrustRAG 对干净数据的效用仍未解决：评审将 HotpotQA 留出答案中的 147/200 个以及 NQ 留出答案中的 139/200 个判为正确性不确定。开展新研究时，应在汇总前保存每条查询的四种输出，报告预防、引入、N、H、Γ 和中毒绝对比例，然后进行段落移除和拆分证据控制。
阅读本文，了解如何重新设计 RAG 投毒评估：检验 ASR 下降是否伴随新增肯定例、依赖标签的排序变化，以及对注入证据的依赖，而不是将 ASR 下降本身视为防护证据。
检索越强，no-gold 标签越难可靠评估对话式 RAG 的拒答
本文从对话式 RAG 拒答评估中的一种测量捷径切入：如果检索上下文中没有被判定为 gold 的文档，就把上下文称为信息不足。问题在于，这个代理指标反映的是读者实际可用的证据，还是仅仅反映基准是否将同一文档记录为 gold。
在 RECOR 上，作者严格重跑了官方基线，并测试了四种检索器，其 nDCG@10 介于 .18 和 .59 之间，同时使用三种 Qwen3 阅读模型。他们将 no-gold 标签与对每个检索上下文内容是否充分的判断进行比较。两个开放式 LLM 评审和由四个小型开放模型组成的小组为上下文标注；另有一个来自其他模型系列的模型对 250 个上下文进行盲审，并经裁决确定结果。
关键结果是，沿着所测试的检索器梯度，代理指标的表现不断恶化。没有被判定为 gold 文档、但仍被评为信息充分的上下文占比从 28% 上升到 72%；相应地，no-gold 标签作为信息不足检测器的精确率从 .68 降至 .10。在单独审计中，精确率介于 .70 和 .21 之间。这一模式不只是标签统计：在 RECOR 阅读模型检查中（不包括 Hybrid），Qwen3-4B 能从 62–67% 的误漏检上下文中正确作答；相比之下，在被判定为信息不足的 no-gold 上下文中，正确率为 23–30%，而在没有任何文档的上下文中为 1%。大多数误漏检的答案来自同一问题的困难负例、另一轮对话的 gold 段落，或 gold 页面相邻的文本块。
评估选择也会改变后续结论。在 RECOR 上，基于 qrels 的标签使 Qwen3-4B 的可回答性 AUROC 最高被低估 .19（相较于基于内容的标签）。替换基于 qrels 的标签后，258 项列出的拒答比较中有 75 项的方向或显著性发生变化；不过，作者将这一数量描述为说明性结果，而非经过多重比较校正的推断。因此，可复用的研究操作是：标注读者实际看到的上下文，用独立检查审计误漏检，并在替代标签下重新进行拒答比较。
适用边界很重要：RECOR 上大多数信息充分性标签都缺乏直接人工验证；人工证据来自 MTRAG。所有内容标注者都看到了参考答案，因此共同的宽松倾向可能会抬高信息充分性标签。基于阅读模型的检查使用了三种 Qwen3 模型和 211 段 RECOR 开发集对话。应将这些比率视为关于这些数据集、系统和协议的证据，而非普适的校准结果。
阅读本文，了解一种具体的 RAG 基准审计方法：在使用缺少 gold 的标签为阅读模型或拒答策略排序之前，先检验该标签是否仍与上下文中的实际证据相符。
ReplayRCA以反事实修复为智能体诊断评分，并区分实时监督与事后剖析
作者指出，仅以标注一致性作为失败诊断的目标并不充分：应检验替换所选原因对应的动作能否改善执行结果。因此，ReplayRCA评估模型能否找到决定性错误，并用一个动作将其修正。
在选定步骤，基准会将环境恢复到前一状态，替换为模型提出的工具动作，再让原执行模型继续运行。其因果修复得分为：替换动作后的后续成功率，减去同一步重放执行模型原动作后的成功率。配对安慰剂旨在扣除可归因于执行模型后续成功机会、重启机制和抽样方差，而非诊断本身的恢复；但这并不能证明所有非诊断因素都已被排除。
任务来自 OpsWorld：这是一个确定性、程序生成的后台办公环境，配有可执行检查器和六个难度等级，其中包括一个多模态等级。在事后剖析赛道中，诊断模型会看到完整的失败轨迹，并被告知运行失败。在实时监督赛道中，监督者观察运行过程，可在不可逆动作发生前干预一次，且不会被告知运行是否会失败。
在 62 个经过校准的系统性失败案例中，每个得分项使用五次续跑，Grok 4.7 的事后剖析因果修复得分观测值最高，为 +51.3 个百分点。不过，经多重比较校正后，实验未能确立 13 个事后剖析模型之间具有统计可靠性的排序。强制 GPT-6.1 Sol 选择最后一步，相较于自由选择步骤，其得分降低了 17.1 个百分点，因此，选择最后一步的捷径并未迁移到这种基于重放评分的设置中。在 87 次实时监督运行中，Gemini 3.8 Flash 和小型开放权重模型 DeepSeek V4.1 Flash 并列领先，但尚未确立两者之间存在差异。对于共同失败运行中的 GPT-6.1 Sol，事后修复得分比实时监督效应高 14.5 个百分点；作者提醒，这一差距能否推广尚不清楚。
开展新评估时，可借鉴这一操作模式：恢复到动作发生前的状态，将所提议的替换动作与同一步的原动作安慰剂进行比较，并用经过验证的环境结果评估修复是否有效。应将事后诊断与实时干预作为两种独立测量，而不应把其中一种视为另一种的证据。应谨慎限定结果的适用范围：研究只使用一个模拟环境、来自两个任务系列的失败案例，以及一个包含 41 个同一执行模型所产条目的样本池（共 62 个条目）。单动作方案也无法直接测量需要多个纠正动作的失败；该得分衡量的是有效修复，而非对历史根本原因的唯一识别。
阅读本文，了解同一步安慰剂如何把智能体提出的诊断转化为经过结果检验的修复得分，以及为何不应自动将事后诊断表现视为实时监督能力的证据。
简单特征在 APPS 后门基准上胜过 24 个开放权重监测器中的 20 个
Simple Features Beat Most AI Control Monitors
AI 控制监测器的得分旨在反映有能力的模型能否发现代码中的蓄意破坏。本文检验 APPS 后门基准是否也能仅凭无需执行代码、也无需识别恶意行为的数据集线索来预测标签。因此，单独的高基准得分无法区分该数据集上的蓄意破坏检测与捷径式辨别。
在标准划分上，作者将 24 个开放权重监测器与两种不执行代码的基线进行比较：一种是在去除注释的代码上进行词袋逻辑回归，另一种是在题目元数据上进行逻辑回归，并加入标签打乱对照。仅代码基线的 AUROC 达到 0.806，超过了所评估的 24 个监测器中的 20 个。仅题目元数据在标准测试划分内交叉验证时达到 0.766，但当训练发生在该划分之外时，得分反转为 0.298；将后者的训练限制为至少有四个测试的题目时，得分为 0.629。因此，元数据结果是划分特定的标签泄漏，而不是普遍可靠的题目层面规则。
作者随后检验作者身份是否促成代码信号。在 99 个具有可运行 Sonnet 5 后门的题目上，混合作者配对更易区分：词袋基线对人类解答与 Sonnet 5 后门的得分为 0.953，对 Sonnet 5 解答与较早模型后门的得分为 0.905；相比之下，原始配对为 0.789，重建配对为 0.749。作者将这一反差解读为解答作者身份有助于可分性，尽管同一作者的配对仍可区分。
一项单独审计检查带标签的攻击是否真实：验证者测试触发条件是否合法，以及后门输出是否不同于通过测试的人类解答中的多数答案。在标准测试划分中，论文报告 172 个带标签后门里有 17 个仅具有非法触发条件，另有七个会在某个公开测试上打印错误答案，而数据集的通过标记未发现这一点。在这些检查之前，一个零样本 Sonnet 5 监测器在这 99 行可运行后门中捕获了 77% 的较早模型后门，却只捕获 Sonnet 5 后门中的 37%；检查后的精确比较仍未解决，因为正文与表 A9 不一致。
作者明确不声称已发表的监测器依赖这些捷径；他们自己的类别互换监测器研究只覆盖两个零样本监测器。有效性计数也受到有界合法输入搜索和验证者作者身份的限定。对于新的监测器基准，实用做法是报告带标签打乱对照的不执行代码下限，在可能时互换解答作者，并且只在验证攻击后计算捕获率。
阅读本文可学习一套具体的基准审计流程：比较不执行代码的基线，测试对作者身份的依赖，并在将监测器得分视作蓄意破坏检测证据前验证攻击有效性。
同种子 OLMo 2 反事实将暴露效应与个体成员身份证据区分开来
From Training Exposure to Membership Evidence: A Controlled Study of OLMo 2
大多数成员推断评估都是在训练后收集成员和非成员，因此表面上的攻击信号可能反映分布偏移；攻击失败也不能说明暴露没有造成影响。本研究通过在 OLMo 2 实验内部建立训练真值，改变了这一设置。
作者重跑了 OLMo 2 1B 官方的 50-billion-token 中期训练阶段。处理组运行遵循官方数据顺序，但将选定的训练块替换为文档；同一种子发布的 AI2 运行则作为反事实参照，除计划中的替换外，两者的训练序列保持一致。在 7,814 对按领域和难度匹配的文档中，研究通过抛硬币决定哪篇文档被插入、哪篇被留出。这样，研究可以比较已暴露文档与同领域的近似对照，而不必只依赖自然出现的成员和非成员。
主要结果清楚地区分了影响与归因。在 4,832 对经验证为此前未见、且只暴露一次的文档中，注入文档的配对内平均似然优势为每个 token 0.0221 nats，但这一影响在不同文档之间差异很大。使用精确反事实参照时，比率得分达到 0.767 AUC；然而，在各领域共用一个阈值时，假阳性率为 1% 的条件下，仅能检出 3.8% 的成员。集合层面的证据更强：在所述同领域和近似参照条件下，13 对匹配样本的配对检验以 5% 显著性水平检测集合训练的统计功效为 80%。
参照模型的选择也很重要。在本实验中，使用另一随机种子训练的参照模型恢复了精确反事实模型相对随机猜测的 AUC 优势的 92%，但这一比较假设能够获取相同的数据混合。依赖领域的溢出效应带来另一项警示：处理组模型从未见过的文档，其似然也可能发生变化，因此领域匹配的对照对于解读成员得分很重要。在所评估的训练后处理方案实施后，平均配对内影响仍保留 89%，不过作者将这一比较视为探索性结果。
可迁移的操作是分别报告三种估计对象：与暴露相关的平均似然变化、指定低假阳性率下的单文档判定，以及集合层面的检测功效。复现这一设计的研究者还应说明，它估计的是联合干预，而非插入单篇文档的孤立效应。本研究只涵盖一个 1B 参数模型和一个中期训练阶段；在训练窗口边界处插入文档可能更容易被检测，而非成员审计也无法排除更短或经过大量改写的先前暴露。
阅读本文，了解随机匹配对与同种子反事实如何区分真实的平均暴露效应、较弱的单文档归因能力，以及更强的集合层面证据。