2026-10-30
2026-10-30
无需读取解释，条目构造也能预测自动可解释性评分
研究问题
自动可解释性评分通过要求模型逐个预测特征在哪些 token 上触发，或标记出的 token 是否符合该特征，来评判稀疏自编码器（SAE）的解释。本文检验的是：评估条目本身能否在不读取解释的情况下预测答案。
方法与证据
本文将“无解释规则”定义为：使用条目构造信息——token 位置、标记集合或数量，以及序列身份——但不使用解释。研究在相同条目上将这些规则与评分器进行比较；审计已存储和本地构建的模糊测试与模拟流程；在需要时重建缺失标记；并将模拟相关性分解为序列内项和序列间项。
在 Neuronpedia 为 500 个随机 GPT-2 small 特征存储的模糊测试运行中，91.3% 的激活示例在中心 token 上达到峰值。中心 token 规则的平衡准确率为 0.979，高于已存储 LLM 评分器的 0.838；按标记数量判断的规则达到 0.969。这些依赖位置的结果所用标记是根据推断出的流程代码重建的，因此，标记数量结果是更稳妥的捷径比较。不同流程中的线索形式各异：当前 delphi 负例总是在固定位置标记，而 Neuronpedia 模糊测试负例的标记数多于正例。
序列顺序提供了另一种捷径。在 OpenAI 的模拟基准中，对 400 多个神经元进行抽样后，预测前五个序列的活动，汇总相关性达到 0.227，高于已发表的 GPT-4 模拟器的 0.160。这说明已发布的排序中含有信息，并不意味着 GPT-4 使用了这种排序。
如何看待这一结果
干净窗口对照很重要。在从 OpenWebText 按随机偏移截取的 64-token 自然文本窗口上，Jev 在 49 个 GPT-2 small 特征上的得分为 0.331，而打乱解释后为 0.013；一个开放的 Llama-3.1-8B-Instruct 模拟器得分为 0.194，而对照为 0.019。这些对照支持这样一种判断：除了经过检验的共享位置先验之外，模型还使用了解释；但它们并未证实模拟器具有普遍能力。在一项单独的 Jev 比较中，已存储分数与裁剪几何结构的相关性为 0.512，但研究没有证明几何结构改变了特征排序；真实数据中对部分重排序的敏感性也尚未确定。
开展新的评估时，应在相同条目上将最强的无解释规则与评分器并列报告。对于模拟，还应报告序列内和序列间的组成部分，而不是把汇总相关性视为单一能力指标。
适用范围
论文从分析角度提出了标记匹配的负例，但并未进行测试。大规模已存储运行的证据来自一个 SAE；Gemma 结果使用了 12 个特征的 27 次运行，delphi 条目则是在本地构建的。本文没有运行任何当前的闭源 LLM 模拟器。
在比较 SAE 解释或模拟器分数之前，读这篇论文可以了解如何加入无解释基线和干净条目对照。
双重分层评估在 AgentDojo 测试中区分提示注入暴露与不安全工具动作承诺
Exposure Is Not Commitment: Double-Stratified Evaluation of Latent Monitors for Tool-Using Agents
为什么目标定义很重要
内部监测器可能因为识别出存在注入而获得高分，却未能识别智能体是否会顺从。早期的隐藏状态研究将即时 IPI 暴露作为主要标签；该标签明确不代表攻击成功、顺从或采取了有害工具操作。
有哪些变化
本文同时改变了评估对象群体和训练对照。在以 AgentDojo 为基础的工具智能体轨迹中，暴露度比较遭受攻击但安全的案例与干净案例；承诺度则使用动作前状态，比较不安全案例与遭受攻击但安全的案例。本文将朴素的“不安全案例对其余案例”训练群体，与仅包含已暴露案例的“不安全案例对遭受攻击但安全的案例”训练群体进行对照。
在主要的 Qwen 网格实验中，朴素的混合对照主要检测的是暴露：在已暴露案例中，严格限定于动作前的 AUROC 对训练所得 NLA 文本为 0.556，对激活探针为 0.672。当训练仅使用已暴露案例时，在轨迹最多允许提前两个步骤的条件下，激活探针对承诺度的预测达到 0.853。
决定性的对照是可见文本。在相同的 Qwen 承诺度任务上，TF-IDF 逻辑分类器达到 0.855，而激活为 0.853，因此，分布内结果并未证明激活具有优势。在 Mistral-7B 和 OLMo-2-7B 上，仅使用已暴露案例训练的激活探针分别达到 0.896 和 0.912；不同模型中的朴素对照捕捉到的轴也各不相同。
综合来看，本文的结果关乎对照所要求监测器学习的内容：未经分层的“不安全案例对其余案例”AUROC 可能奖励对暴露的检测，而仅使用已暴露案例训练则可能揭示动作前的承诺信号。因此，本文将对照选择视为解释动作前探针结果相互矛盾的一种候选因素。
研究实践
一个有用的后续实验是先构建 2×2 评估：用干净案例与遭受攻击但安全的案例评估暴露度，用遭受攻击但安全的案例与不安全案例评估承诺度；随后训练并测试这两种对照，同时加入一个经过训练的可见文本基线。分别报告两项分数，并检查监测器表面上的提升在已暴露群体内是否仍然成立。这样，在尝试引导或部署之前，标签、群体和表征的比较都可以接受审查。
证据的适用范围有限。最强的行为结果来自已导出的、以 AgentDojo 为基础的轨迹中的模型生成动作，而非实时交互式展开。三个模型系列共用 AgentDojo 基准，因此尚未证实向基准之外迁移。实际误报成本和部署患病率下的表现尚未得到验证；攻击也不是自适应的，未测量自适应规避。
如果你想了解如何检验监测器是否能在已暴露案例中预测不安全动作，而不只是检测注入内容，可以读这篇论文。
abstract; Section 7, paragraph 4; Table 1; Section 7, paragraph 4; Table 1; Appendix C, paragraph 3; Section 7, paragraph 6; Appendix F, Table 3; Section 7, paragraph 1; Section 8, paragraph 1; Section 8, paragraph 1; Appendix C, paragraph 3; Appendix E, paragraph 1 · Appendix A, Label semantics
仅凭 CLadder 准确率不足以证明形式因果推理
Evaluating Causal Reasoning in LLMs: A Case Study in the Challenges of Procedural Generation
CLadder 是一个通过程序生成、用于评估形式因果推理的基准。本文关注的是：当大型语言模型在其生成的测试集上表现良好时，实际上能据此推断什么；它并不讨论模型是否可能进行因果推理。本文的核心警示是，基准准确率可能与生成器中可预测答案的结构并存，因此，高分本身不足以证明模型具备形式因果推理能力。
Clarke 等人将这一警示转化为诊断性审计。他们检查生成器，并指出答案确定性可能进入的三个层面：参数层面、结构层面和公式层面。具体而言，故事身份、图结构或极性标记有时可以在不依赖所展示数值信息的情况下预测答案。这是对基准构造方式的分析，而不是对特定模型使用各类模式的频率进行测量。
随后，他们在生成的 CLadder 示例上训练简单的随机森林。摘要报告称，这些非大型语言模型在看到一批生成数据后表现良好，从而削弱了这样的推断：基准准确率高就必然需要形式因果计算。作者还对测试提示进行扰动：商业大型语言模型的表现被描述为脆弱；删除对于形式因果推理至关重要的大段内容，几乎不会影响表现。这些干预直接检验了当提示失去预期计算所需的信息时，模型表现是否会发生变化。
因此，本文认为最可能的解释是模型接触了从生成器数据中学到的表层模式，而非已经证实其具备形式推理能力。这只是一种假设，并不能证明 CLadder 的每个答案都是通过捷径得到的；论文指出，若要作出更强的因果推理能力判断，就必须排除这种解释。对于新的程序化基准，可复用的操作是：检查生成器是否存在能确定性预测答案的规律；在生成的示例上训练简单模型；删除预期推理所需的信息；并在原始生成流程之外产生的数据上评估。这一系列步骤可以检验分数在移除任务相关信息后是否仍然成立，以及能否迁移到生成流程之外。
解读这项审计时有一项重要限制：作者生成实验数据时没有对 CLadder 采用表层干预，因此，所报告的证据仅适用于他们明确说明的生成器配置，而非所有稳健性划分。实践上的启示并非放弃 CLadder，而是应将其分数视为一种测量结果；在把它解读为形式推理能力之前，还需进行捷径、消融和迁移检验。
如果你使用程序生成的推理基准，并需要一套具体审计方法来区分生成器的可预测性与基准旨在测量的能力，可以读这篇论文。
abstract; Appendix A.7, opening paragraph; Appendix A.3, paragraph 3
模型推导的分数需要可靠性门槛与依协议而定的排名
Measured or Real? When Model-Derived Measurements Can Be Corrected or Compared
由模型得出的数值可能随随机种子和提示而变化，因此，基准领先幅度或难度分数并不天然是稳定的标量。本文探讨这类测量在何种情况下可以校正或比较，而不是把所有已报告数值都视为可直接比较。
此前的失效模式很具体：教科书式去衰减方法将观测相关性除以两个估计信度乘积的平方根。根据命题 2 的条件，即使观测相关性和信度估计使用互不重叠的随机种子区块，这种代入式校正仍可能具有无限二阶矩。在 CIFAR-100 演示中，100 个类别分数里有 70 个的校正结果绝对值超过一。实践启示是，应用校正之前，先检验信度是否可估计。
算法 1 使用显著性检验分别对两个信度估计设门槛；若任一门槛未通过，就返回截断后的未校正相关性，否则使用置信上界作除数后再截断。因此，输出被限制在 [-1,1] 范围内，而这些置信界的覆盖率声明以平衡高斯单因素模型为前提。在一项包含 500 个单位、每个单位三次重复测量、真实相关性为 0.4、信度为 0.2、高斯噪声和 2,000 次运行的模拟中，门控校正的均方误差为 0.048，未校正估计则为 0.105；其优势取决于是否有足够多的单位来估计信度。
对于模型比较，算法 2 将提示配置视为具名协议，而不是悄然合并。它比较逐项配对的正确率差，针对模型对和协议构造同时 max-t 区间，并在固定提示网格和共享评分方式下给出“已认证”“依协议而定”或“拒绝判断”的结论。在报告的 ARC 比较中，Qwen2-1.5B 在零样本设置下落后于 Llama-3.2-3B 3.8 个百分点，但在两样本设置下领先 16.6 个百分点。在四个基准中，将两种设置合并后，对于这类排名反转，16 次中有 15 次会得出单一胜者。
一项独立的对齐实验在 ResNet-18 CIFAR-100 设置中，将留出数据上的逐维信度从 0.003 提高到 0.813。适用边界很重要：算法 1 的推断保证依赖平衡高斯单因素模型；强异方差会降低精确 F 覆盖率；而 max 规则分支没有报告均方误差或覆盖率评估。算法 2 的家族错误率保证是渐近的，并假设项目独立抽样、所有模型共享固定提示网格；它不涵盖未见过的提示或其他评测框架。按协议给出结论的规则也可能拒绝合并分析能够解决的比较。
开展新的评估时，应在选择校正方法或排行榜汇总方式之前，写明目标估计量、单位、重复测量来源和提示网格。如果不同设置会改变目标估计量，就应分别报告各设置的结论；如果信度未通过门槛，就应保留这种不确定性，而不是人为制造一个校正后的数值。
读这篇论文，可以了解一套针对随机种子敏感分数和提示敏感排名的具体审计流程：它展示了朴素信度校正在何时会出现数学上的不稳定，以及依协议进行推断如何避免合并后的排行榜掩盖排名反转。
经过诱饵测试的检查器可保守地将部分 AI 撰写论文中的数值追溯至记录结果
Beyond fabrication: Misattributed numbers in papers written by AI research agents
有哪些变化
此前的一项基准评估了一种研究工作流：智能体会收到一篇原始论文、其代码和数据，以及指定的研究方向，随后提交论文、代码和日志，并按评分标准接受评估。其自动化完整性判定可以标记失败，却无法说明数值问题究竟是捏造、现有材料中缺失，还是错误归因。这留下了一个具体的审计缺口：材料中存在某个数值，并不等于其来源已得到证实。
本文将分析单位从提交层面的判定改为数值主张。作者重新分析了九个智能体在15个研究问题上发布的全部540项判定，并对18份提交中的256条数值主张进行人工标注。其确定性检查器会评估周围上下文是否指明了所声称的结果，并使用数值诱饵对每条主张进行校准。严格运行点在主张标注之前就已固定，从而将检查器设计与确认标签分开。
关键诊断是，缺乏支持的数值往往并非凭空捏造。在已标注样本的53条无支持主张中，有47条被归类为来源错误案例；按总体加权计算，来源错误占比为81%。某个数值未在现有材料中找到，只能说明它缺失于这些材料，并不能因此证明它是捏造的。在严格运行点，检查器认证了211条已标注的真实主张中的85条，其中78条可追溯；这相当于92%的精确率，但覆盖范围仍有限。在留出的确认样本中，它认证了29条可追溯主张中的27条。对此应作保守解读：许多未获认证的主张同样可以追溯——留出样本中的31条里有19条如此——因此，未获认证并不构成其为虚假的证据。
与LLM验证器的比较进一步说明了运行选择的利弊。在获得相同证据时，LLM验证器找回了更多可追溯主张，但比严格的确定性检查器接受了多得多的不可追溯主张；作者建议将其用于初筛，而非最终验证。将检查器用于99份提交后，研究发现不同智能体的认证率存在较大差异，整体上与官方完整性评估一致；但认证率只是可追溯率的下界。
有一项边界至关重要：检查器认证的是来源，而非正确性；底层实验仍可能存在缺陷。这些发现来自一个基准、九个智能体，以及15项计算科学和物理科学任务，参考标签由研究团队的两名成员提供。在设计审计时，可迁移的操作是要求数值主张与上下文之间存在明确的正向匹配，用附近的数值诱饵对其进行检验，并将未获认证的主张送交审查，而不是直接视为虚假。
读这篇论文，可以了解一种面向 AI 生成研究的保守审计方法：区分某个数值是否出现在材料中，与该数值是否归因于正确的实验、指标和运行结果。