2026-10-31
2026-10-31
不读解释也能获得很高的自动化可解释性分数
本文针对的局限十分具体：自动化可解释性分数可能反映的是评估条目的构造方式——词元位置、标记词元的布局或数量，以及序列顺序——而非模型是否读懂了解释。方法上的改变是：仅利用这些信号测试不依赖解释的规则，推导其分数的闭式表达，并在同一批条目上将其与基于解释的评分器进行比较。
在 Neuronpedia 为 500 个随机 GPT-2 small 特征保存的模糊测试运行中，91.3% 的激活示例将峰值置于中心词元。中心标记规则的平衡准确率达到 0.979，而已保存的 LLM 评分器为 0.838；仅使用标记数量的规则则达到 0.969；标记是根据流水线代码重建的。在已保存的 Gemma 样本中，数量规则达到 0.981，而已保存评分器为 0.794。
这些线索因流水线而异：当前的 delphi 在其模糊测试负例中总是在同一位置打标，而全上下文运行则会给负例标记更多词元。在 OpenAI 的模拟基准中，每个神经元的最高激活序列都列在前面；针对 400 个 GPT-2 XL 神经元，一项事后规则预测前五个序列会引发活动，汇总相关系数达到 0.227，而 GPT-4 已发表模拟器为 0.160。这一排序结果并不能证明 GPT-4 使用了该线索。
论文将序列问题形式化：任何在同一序列内取值恒定的预测器，其相关性都受序列均值相关比率的限制，因此汇总相关性可能包含可分离的序列内和序列间成分。这提供了一种直接的诊断方式，而不是把单个汇总数值视为解释使用情况的单一度量。
论文的位置控制实验使用从随机偏移处截取的自然文本窗口：效果最佳的共享固定偏移先验仍只有 0.015。在这些窗口上，Jev 在 49 个特征上的汇总相关性为 0.331，而打乱解释后为 0.013；其相关性大部分来自对序列内词元进行排序。尽管如此，研究确实发现分数水平受到几何结构混杂因素影响，但并未证明特征排序因此改变。
对于新基准，应在完全相同的条目上运行最强的不依赖解释的基线，将其与解释分数并列报告，并把模拟表现的汇总结果分解为序列内和序列间部分。值得研究的问题是：在消除位置、标记和序列顺序线索后，解释是否会改变词元排序。
主要限制在于，已保存运行中的核心模糊测试结果依赖重建的标记和推断得到的流水线版本；不同流水线的证据并不均衡，而且论文推导出的正／负例匹配标记构造方案尚未测试。研究也未能证明结构线索不会影响特征排序，因为真实数据测试范围有限，且对部分重排的敏感性未经校准。
本文可用于设计针对同一批条目的、不依赖解释的基线，并诊断汇总模拟分数是否由序列内排序驱动。
训练对比决定潜在监控器读取的是暴露还是承诺
Exposure Is Not Commitment: Double-Stratified Evaluation of Latent Monitors for Tool-Using Agents
本文的核心纠正是：不要把接触注入内容视为智能体将进行不安全工具调用的证据。论文提出“双重分层”：在评估和监控器的训练样本中，都将接触注入内容与行为承诺区分开来。
所提供的暴露监控研究明确界定了更狭义的目标：即时接触注入内容并不等于攻击成功或造成后续危害。这一区分会改变标签和抽样方式。论文比较了朴素的“不安全行为对比其余情况”与仅限于已暴露案例的“承诺对比”——不安全行为对比遭到攻击但保持安全的行为；并测试监控器能否在调用发生前预测智能体自身的不安全行动。
在主要的 Qwen AgentDojo 网格实验中，朴素的混合对比能强烈捕捉暴露情况，却几乎无法在行动前区分已暴露案例中哪些会变得不安全。使用承诺对比时，逻辑回归激活探针对模型自身不安全工具调用的行动前预测 AUROC 达到 0.853，最多可提前两步——这是三步轨迹允许的最大提前量。经过训练的可见文本 TF-IDF 基线在同一目标上达到 0.855，因此这一结果并不能证明潜在表征具有普遍优势。
跨模型观察进一步明确了这一条件，但并未消除它。在报告的 Mistral-7B 和 OLMo-2-7B 案例中，承诺 AUROC 分别达到 0.896 和 0.912；在朴素对比下，Mistral 的探针对暴露程度呈反向排序，而 OLMo 的探针则捕捉到两个维度。作者将对比方式的影响视为解释行动前探针结果相互矛盾的一种可能原因：信号或许存在，但零样本预测和 NLA 语言化表达未能可靠地将其提取出来。
对于新的监控器，一项可迁移的操作十分明确：分别公布暴露分数和仅在已暴露样本上的承诺分数；后者只在已暴露层内训练；在声称存在潜在的行动前信号之前，加入可见文本基线。这样可防止未经分层的 AUROC 悄然回答更容易的问题——是否存在注入内容——而非实际关心的问题——智能体是否会采取不安全行动。
证据仍有边界。主要的生成动作结果并非来自实时交互式运行，因此其行动分布和监控器的提前量可能与部署环境不同。攻击不是自适应的，因此报告的 AUROC 是针对了解监控器的规避行为的上限。承诺监控器是在已暴露层内评估的，未测量正常流量中的误报成本。跨模型复现仅限于 AgentDojo 上的 Qwen、Mistral 和 OLMo；这并不能证明结果可推广到其他基准。
本文给出一套具体审计设计，用于区分识别注入暴露的监控器与预测智能体即将进行的不安全工具调用的监控器，同时保留论文关于非自适应攻击和非实时运行的限制。
Abstract; Section 7, paragraph 4; Table 1, Section 6; Section 8, Limitations · Appendix A, paragraph on label semantics
Seq@K 让反馈设计成为序贯模型评估的一部分
Seq@K: Evaluating Language Models Under Sequential Feedback
Pass@K 从原始提示中独立抽取 K 个样本。它无法体现模型是否会利用失败尝试和反馈来修正下一次回答，因此对于以序贯修订为核心的系统而言并不完整。
Seq@K 改变了评估单位：它考察任务能否在 K 次序贯尝试内解决；每次失败后，下一次尝试都会收到指定反馈和此前的历史记录，轨迹则在成功或达到尝试次数上限时结束。因此，分数取决于验证器、反馈模式、提示／历史记录构造方式、解码设置和 K，而不仅仅取决于模型。
在所提供的研究记录中，这并非首次开展以反馈为条件的评估：RefineBench 研究清单引导的多轮修订，ICPC-Eval 则定义了根据执行反馈修订代码的 Refine@K。Seq@K 所支持的增量，是将这一协议框架扩展到多种任务类型，并明确分析模型选择和反馈敏感性。
检验模型选择的关键测试，比这一框架本身的范围更窄。在使用四个编码执行模型、T=0.7、重复三次、十个校准任务、留出任务、测试细节反馈和 Seq@5 评估时，以 Seq@3 和 Seq@4 校准所选出的执行模型，在留出集上的 Seq@5 得分高于以 Pass@5 校准所选出的执行模型：MBPP Pro 上分别提高 +8.3/+8.1，HumanEval Pro 上提高 +26.0/+25.9。平均成本相近或更低，但四个成本比区间中有三个包含持平水平。
反馈内容也会改变修订的对象。在 CLBench DKR 上，汇总五个模型和三十项任务后，知晓评分细则的评论者修复了 73.8% 的初始失败要求，而独立采样、二元反馈和不了解评分细则的评论者分别修复了 36.5%、34.4% 和 36.8%。
在 26 个模型—基准组合中，增加独立样本所带来的收益无法预测序贯反馈带来的收益（Spearman ρ = -0.08），但区间较宽 [-0.47, +0.31]。有两点需要注意：Seq@3 和 Seq@4 是从告知尝试次数 K=5 的运行中读取的；而 Seq@4 是在看到 Seq@3 的结果后才加入的。是否遵循修订指令的标签由模型生成，整体一致率为 80%，在 DKR 上的一致率较低（κ=0.53）。
由此可以得到一项实用的研究操作：随每个分数一并报告完整的协议要素；预先规定校准深度；比较模型时固定反馈模式；并记录逐轮问题修复情况，以及完整历史记录与摘要之间的消融结果。可迁移的问题是：在独立采样中胜出的模型，是否也能在预期的反馈循环中胜出，而不是 Pass@K 能否单独预测这一点。
阅读本文可了解如何在比较旨在根据批评意见修订的模型之前，固定反馈通道、验证器、历史记录格式和尝试次数上限。
Section 3, Feedback Modes and Protocol Dependencies · abstract · abstract
自我改进智能体可能通过当前安全检查，却失去冗余保障
Masked Erosion: How Acceptance Gates Lose Redundant Safeguards in Self-Improving Agents
有何变化
自我改进框架在当前模型看来可能是安全的，却在不知不觉中失去一项备用保障：如果另一层仍能阻止危害，删除其中一层几乎不会产生即时信号，尽管框架因此更难承受未来的故障。这就是论文所说的“掩蔽式侵蚀”机制。
此前的局限十分具体：任务成功门槛和基于当前模型的危害检查只能观察当前结果，无法观察保障失效后可能出现的危害。PACE 在成对零假设假设下控制每个候选方案的错误提交率。只有当折扣后的成对增益为正、单侧成对检验显著，且观察到的回归比例处于指定上限以内时，SAGE 才会接受。本文增加了一个不同的测量目标：考察不同保障子集下的危害，以及剩余的删除裕度。
“掩蔽式侵蚀”通过评估四项书面保障所有子集下的危害，将这一目标操作化；删除裕度则定义为超过危害阈值所需的最少后续删除次数。在每个环境中，当危害 ≤0.05 时，状态被视为受到保护。研究考察了 AppWorld 中的凭据滥用和 OpsSim 中的破坏性清理；在 411 次循环中（大多是受控的单层删除），研究比较了十种门控规则，并增加了三次 GEPA 运行。
结果区分出两种失效模式。在 AppWorld 的 27 次近乎中性删除压力测试循环中，成对显著性门控接受了 0.04 的提案，而贪心规则和拆分半样本规则分别接受了 0.48 和 0.44；贪心循环在六次运行中有五次最终失去保护，成对循环则一次也没有。在成本为 0.15 的 OpsSim 实验中，20 项任务的批次使六个框架全部保持受保护状态，而 40 项任务的批次则导致六个框架全部失去保护：显著性检验并未阻止确实带来任务成功率增益的删除。危害审计降低了观察到的暴露风险，但六个由审计否决决定形成的最终版本中有五个的删除裕度为 1；在 Qwen3-30B 上重复使用后，非成对组与成对组最终版本的凭据滥用率分别为 0.30 和 0.004。三次 GEPA 运行都原样保留了凭据规则，但其中两个最终版本在 Qwen3-30B 下滥用了凭据。
对研究者而言，具体操作是评估每个候选方案当前的危害及其单层消融结果，记录剩余裕度，并在较弱模型下重复检查。这样可以区分当前安全性与保留的韧性，而不是把安全文本未改变或当前危害为零视为充分条件。
边界同样重要。受控设计涵盖两个环境、单一危害，以及每个环境中的四项书面保障；大多数循环在每一代植入一次删除，因此无法估计部署中的优化器多频繁地侵蚀保障。自然编辑和 GEPA 结果属于案例研究，且 GEPA 只有三个随机种子。长期侵蚀是通过在固定池和边稳定假设下串联接受概率来预测的，并非在长期真实运行中观察到的。作者认为 20 项与 40 项任务的比较更能支持批次大小效应；120 项任务的运行对 60 项任务池进行了重采样，部分记录结果受到重复抽取和缓存竞态影响。
阅读本文可了解如何测试自我编辑框架在保障或模型发生变化后是否仍保留安全纵深，而不只是检查当前模型下的任务成功情况。
abstract; §4.5; Table 3 · §4, Guarantee · Section 3.3, Hypothesis-Test Denoising; Equation (11)
批次邻居会改变 LLM 的判断，但 AUROC 几乎不动
Judged in Company: In-Context Batching Makes LLM Verdicts Depend on Other Items
问题所在
将相互独立的条目批处理通常被描述为一种节省成本的实现方式，但其隐含假设更强：判断结果不应取决于其他条目，也不应取决于条目在提示中的位置。此前的一项筛查研究已经表明，批量呈现对决策的影响大于预言机提供的总体患病率元数据；而且，整体 F2 增益可能与更多文章层面的恶化并存，而非改善。该研究的证据仅限于五项软件工程评审、两个模型、一种提示表述，以及每种条件下的一种批次安排和一次执行。
方法上的变化
Xie 和 Alanwar 将相同的 2,000 个条目分配到不同的随机批次中，每批 25 个；实验涵盖三项判断任务和五个参数量为 4–9B 的开放权重模型。他们将分区引起的变化与重命名条目键和改写指令造成的变化进行比较，随后将判断翻转率分解为邻居顺序、条目槽位和邻居成员构成的影响。后续实验测试了排列投票、对 15 个随机批次的多数决，以及通过替换先前判断、邻居文本或两者来进行的词元级干预。
关键结果
在危害判断和简答题评分任务中，重新随机分区会改变 11–22% 的决策。在相对简单的星级评分任务中，变化比例仅为 2.9–3.9%。然而，在主要的五模型危害判断和评分比较中，书面等级相对于人工标签的 AUROC 变化仅为 −0.033 至 +0.010。因此，整体排序验证可能遗漏显著的条目级不稳定性。对于危害判断和评分，分解结果显示，邻居顺序占潜在差异的 0.42–0.69；槽位和成员构成也有贡献，尽管槽位与成员构成之间的交互效应估计值在抽样误差范围内可能为负。九种顺序的排列投票仍留下 52–60% 的分区翻转；对 15 个随机批次进行多数决后，有 8.4–17.8% 的条目与单条目判断不一致。词元干预表明，在所测试的生成设置中，邻居文本和模型先前作出的判断都可能影响目标判断。
研究用途与边界
对研究者而言，我会在报告 AUROC 的同时，报告随机重新分组时的条目级翻转率及其与单条目评分的一致性，并将成员构成、顺序和槽位视为实验变量。论文建议对有歧义的条目采用每个提示一个条目的方式评分，通过缓存前缀挽回部分批处理成本，并在批处理条目时报告其与单条目评分的一致性。这些结论有明确适用范围：主要模型是开放权重的 4–9B 模型；四个参数量为 14–32B 的后续模型只涵盖危害判断和评分，未包含干预与投票研究；论文也未测试专有模型。对其他语言、任务格式、解码策略、对话工作流和提示设计的泛化仍不确定。潜在尺度和投票方面的解释假设采用具有共同上下文方差的高斯阈值模型；顺序与交互效应的划分则依赖一种针对五个指定槽位的估计器。
对于构建 LLM 评审或标注流程的研究者，本文很有参考价值：它将批处理这一隐含假设转化为可测量的条目级测试，并说明为什么排列投票和整体 AUROC 都不能保证与单条目判断一致。