2026-10-24
2026-10-24
RAG 防护得分可能漏掉自适应恢复
Protection Is Not One Event: A Survey of RAG Protection Research by Measured Endpoint
RAG 防护研究采用彼此不兼容的评估指标、数据集和威胁模型。论文提出的具体改进，是按照实验测量的技术事件来组织这类研究，而不是按照声称的目标或防御机制来分类。
作者构建了一份人工编码、经全文确认的 118 项 RAG 直接防护研究图谱。三十二名标注者对记录进行了双重编码；据报告，主要终点类别的一致性为 κ=0.867。这种以终点为先的方法揭示了一个具体的比较问题：防御机制无法可靠地指明防护结果。使用论文中的机制标签进行留一法分类器预测，预测测得的终点类别的准确率为 53.4%，而按多数类别预测的基线为 39.8%。
测得的终点也与若干直观的防护主张不符。118 项研究中，只有 21 项将直接内容泄露或来源重建作为主要终点。在论文冻结的版权／所有权编码子集中，15 项研究中有 11 项反而将事后语料使用检测作为主要终点。这一 73.3% 的比例属于论文冻结的编码方案，并非法律分类，也不是对整个领域的完整计数；相关关系编码的一致性低于中心性编码。
受控实验将这种不匹配具体呈现为操作层面的问题。在一个范围受限、未预注册的测试环境中，归一化的 8-gram 防护器将测得的 20-token 复制率降至 0.0%，但在 Qwen3-8B 上，采用三次查询的自适应攻击者恢复了 48.3% 的隐藏源事实。对于启用防护的模型，隐藏事实召回率从一次查询后的 3.3% 上升至第三次查询后的 48.3%，而测得的解码后 20-token 复制率仍为零。这说明的是该测试设置中的终点不匹配，并不代表生产环境中的 RAG 系统普遍如此。
开展新的 RAG 安全评估时，应先写明要保护的事件，再选择指标：主张涉及生成文本、来源重建、私密事实恢复、访问，还是语料使用？如果主张涉及信息恢复，就应加入自适应多轮查询攻击者、改变查询预算，并在报告复制率的同时直接报告恢复情况。这一点尤为相关，因为图谱中的 118 项研究只有 11 项评估了会根据反馈调整的多轮查询对手。最后，应使用该分类法来对齐主张与测量结果，而不能将其视为某项指标充分或无偏的证明，也不能据此证明某种防御有效。
本文将一种常见的 RAG 安全评估捷径——把逐字复制为零视为保密性的证据——转化为具体的终点与攻击者测试，可用于你自己的实验。
总体得分可能掩盖 LLM 评判器逐条提示判定的不稳定性
Behind Aggregate Scores: What Systematically Varying Arena-Hard’s LLM Judge Reveals
Yorke 的研究分离出了一个测量问题：评判器可以在保持总体比较结果的同时，改变许多个别的胜／平／负标签。在 500 条 Arena-Hard v2.0 提示上，固定两个模型的回答后，GPT-4.1 在评判标准、输出格式和任务框架的全部八种组合下运行；每种设置都在固定模型版本上、温度为零的条件下原样重复。对于每条提示，按顺序平均的成对得分被重新编码为候选方胜、平局或基线方胜类别，并将指令诱发的变化与测试—重测分歧进行比较。
重复默认设置使总体得分变化约一点，却改变了 21.2% 提示的胜／平／负结果。宽泛的仅标签指令包使配对总体得分降低 4.09 点，并改变了 41.6% 的结果；相对于两种设置平均测试—重测分歧，其超额变化率为 28.2 个百分点。它还移除了自生成、参考答案比较、错误检查和歧义处理指令，因此这是一种指令包对比，而不是仅针对推理的消融。以准确性为优先的标准改变了 26.9% 提示的结果，而配对总体得分仅变化 −0.49 点；相对于两种设置平均测试—重测分歧，其超额变化率为 6.7 个百分点。在全部 17 次运行中，只有 496 条完整提示中的 131 条（26.4%）在候选方胜、基线方胜或平局的分类上始终相同。
一个有用的诊断是与决策边界的接近程度：在标准对比中，发生变化的提示在默认设置下的平均边际小于未变化提示。这提供的是一种评估操作，而非关于正确性的主张。如果项目将评判器输出用作逐项标签，应原样重复每一种精确的评判设置，并同时报告总体得分和提示级一致性；随后询问指令诱发的变动是否超过该设置的重跑噪声。论文的结果并未确定哪一种判定正确，也未确定哪一套指令包更好。
适用范围很重要。主要比率来自一个基准、一对模型和一个主要评判模型 GPT-4.1，因此它们未必能推广到其他基准、评判模型或模型对。十月的重复实验是在一天内进行的，并且每种设置只依赖一到三对运行，这限制了对跨日变化的估计。更一般地说，每项指令对比都会改变整个指令包，因此该研究无法分离单一措辞变化的因果效应。
阅读本文，学习在将 LLM 评判器输出用作逐项标签之前，如何将指令诱发的提示级变动与重跑噪声进行比较。
静态审计发现 98 个 SWE-Milestone 里程碑中有 25 个存在隐藏测试依赖
What the Specification Did Not Say: Specification-Oracle Gaps in Test-Graded Coding-Agent Benchmarks
测试评分型编程智能体基准的要求可能超出自然语言任务描述：计分测试可能依赖上游的常量名称、模块路径或精确消息。论文将此称为规格说明与判定器之间的差距，因为通过判定器也可能意味着复现上游实现细节。
该方法将评估目标从单纯的通过／失败改为依赖关系可追溯性。静态审计对 Go、Python、Rust、TypeScript 和 Java 中计分测试涉及的每项名称、路径和字面量级依赖进行分类，然后找出任务上下文中未明确说明且无法推断的依赖。对于里程碑链，分析还处理依赖任务引入的不一致，并将受影响的测试映射到构建单元。留出验证报告的精确率为 89.2%，召回率为 92.9%。
在 SWE-Milestone v1.0.2 上，98 个已评分里程碑中有 25 个包含一个依赖隐蔽名称或路径的必需测试。在 35 次已发表的运行中，受影响的构建单元有 80.6% 运行失败，而没有此类依赖的可比单元失败率为 48.4%。仅针对 Go 的参考反事实实验具体展示了这一机制：重命名一个隐藏标识符，会导致该单元的测试在 128 个案例中的 126 个无法编译。
不应将这一关联视为因果证明：该比较是观察性的，各组的难度可能不同；反事实实验仅针对 Go。在总体层面，按报告进行重新评分时，移除受影响的测试几乎没有改变排名，但会改变受影响最严重仓库内的得分。
一项可迁移的操作是在运行智能体之前建立依赖清单：对每个计分测试，记录其名称、路径和字面量，再将每项要求关联到规格说明、起始代码或可推断的惯例。单独报告受影响的构建单元。如果豁免测试，应将其视为基准发生了变化：论文提出的规格补充说明是另一种补救方法，其对新智能体运行的影响尚未测量。
最后，应将跨基准的发生率比较视为探索性结果：作者报告称，在发布说明或 LLM 摘要设置中发现的标记多于经过筛选或以测试为导向的设置，但构建和审查率并未受到控制，也无法直接比较。词汇匹配也可能高估或低估某项依赖是否确实已在规格说明中提出。因此，实际研究问题不只是智能体是否失败，还包括计分测试是否要求了未声明的接口。
阅读本文，了解一种具体的评估前审计方法，以区分智能体失败与基准判定器中的隐藏要求。
ARATest 将选定的经验性主张转化为可重放的属性测试
From Prose to Properties: Testing Research Claims with ARATest for Agent-Native Science
变化之处
智能体生成研究提出经验性主张的速度，可能快于研究人员核查这些主张的速度。论文指出，瓶颈在于缺少明确的属性：没有属性，测试就无法判断什么证据能够证伪某项主张。ARATest 用参数化的属性骨架近似每项主张的语义，再通过类型化声明将主张绑定到该骨架。
声明固定了领域谓词（范围和案例）、观测映射（量值）以及关系（比较方式、量词和数值或不确定性策略）。共享的案例类型要求生成器提供符合主张统计单位的案例。已报告证据生成器读取与主张关联的证据；自动研究生成器则调度智能体运行已发布代码，以获取新案例。两条路径都输入同一属性。结果为 holds、violated 或 inconclusive，每项违规结果都附有可重放的见证。
证据
在 33 个 ARA 工件的 243 项主张中，有 54 项得到完整且忠实的绑定：32 项成立，八项被违反，14 项无法判定。因此，在该语料中，40 项已绑定主张得到了明确判定。来源审查将两项违规追溯至已发表论文中的数值错误，两篇论文的作者均予以确认。
在记录证据的故障数据包上，ARATest 检出了全部 553 个植入故障，对 19 个有效对照没有误报。这些变异来自两个工件，因此这并不能广泛估计现实世界中的故障检测能力。在针对已发布代码的六项新执行测试中，四项成立，两项无法判定；没有确认任何主张违规。
局限与研究用途
实际操作是：在更换证据来源之前，先固定属性、范围、统计单位和数值策略；同时保留“无法判定”这一结果，而不是强行给出二元判断。测试通过只支持经过检查的案例和声明的属性；仅凭这一点，不能证明该声明忠实地表达了文字主张。
覆盖范围是主要局限：243 项主张中有 189 项未得到完整绑定，作者表示大多数需要采用另一种验证方法。独立审查也有限：大多数声明、设计和结果审查由 AI 审查者或智能体完成，作者没有报告与独立人工审查之间的一致性指标。最后，持续测试活动在预定的 60 次运行中仅有七次返回完整报告，这限制了关于活动规模下新案例覆盖情况的证据。
阅读本文，了解一种具体的契约与测试模式：在把已报告证据换成新运行结果之前，先固定主张的含义；同时将证据不完整视为一种独立结果，而不是测试未通过。
EpiSEM-Bench 衡量 LLM 智能体能否在行动前恢复被遗漏的安全事实
EpiSEM-Bench: Evaluating Safety and Evidence Recovery in LLM Agents under Missing Evidence
当工具响应内容真实，却遗漏了与安全相关的事实时，即使用户请求本身无害且返回的每条陈述都属实，智能体仍可能执行被禁止的操作。EpiSEM-Bench 将此视为行动问题，而不只是识别遗漏的问题。提供的 AbsenceBench 记录向模型提供原始文档和编辑后的文档，并要求模型识别被删除的内容；该记录没有报告通过工具采取行动、依据完整状态进行安全评分、匹配的许可／禁止世界，或先恢复信息再根据许可情况采取行动的评估。
作者在 300 对匹配的安全／不安全任务中构建了基准，涵盖六个领域和 60 个任务族。每对任务都固定用户请求和工具，只改变决定目标操作是被禁止还是被允许的状态。在证据受抑制的条件下，选定的证据原子会持续对常规工具隐藏；世界状态保持不变，并由一个预言机根据完整状态评判提交操作。基准还测试信息恢复：向独立审计工具发出有效查询，即可获得所有遗漏事实。安全边界裕度（SBM）通过逐步增加屏蔽规模，寻找观察到失败所需的最小基数，同时允许得出穷尽搜索后未观察到失败的结果。成对有效恢复（PUR）要求先恢复信息，再在配对的禁止世界中克制行动，并在允许世界中合法完成任务。
关键结果是，在匹配条件下，对受测的所有模型而言，获得恢复渠道都降低了不安全任务的发生率，降幅为 0.7–45.3 个百分点；这是对能否获得信息的比较，并不能证明每个智能体都主动恢复了事实。这些指标区分了不同能力：GPT-6-Luna 的已报告 SBM 最高，为 84.8%；但 DeepSeek-V4.1-Flash 的 PUR 最高，为 58.4%，尽管其 SBM 较低。在审计轨迹中，GLM-4.7-Flash 仅在 1.7% 的案例中尝试恢复，过早提交率为 74.7%，PUR 为 0.0%。因此，能够使用恢复渠道并不意味着智能体会获取证据或根据许可情况采取行动。
解读结果时应考虑其适用条件。评估在温度为零时进行，每种条件只运行一次，因此无法刻画运行间的变异，也不能说明其他解码设置下的表现。报告中的审计条件也经过理想化处理：有效查询会返回所有遗漏事实。最后，作者提醒，对受测快速变体的结果未必能推广到同系列的更大型号。
研究操作：针对新的工具工作流，构建匹配的禁止与允许世界，分别运行完整信息、信息受抑制和信息恢复条件，根据隐藏的完整状态评判提交操作，并分别报告不安全执行、允许任务完成、恢复尝试和成对恢复情况。可迁移的问题不只是“模型是否拒绝”，还包括“模型是否获取了缺失事实，以及只有在状态要求时，该事实是否改变了它的行动？”
阅读本文，借鉴一种具体的配对世界实验方案，用于区分对信息遗漏的鲁棒性、允许任务的完成情况、主动证据恢复，以及恢复信息后的正确行动。
abstract · §2.2, Dataset Construction
本期按 2026-10-24 的候选论文事后编制，核验日期为 2026-10-27。