2026.09.24

ISOT/Kaggle “Fake and Real News” 语料库上的接近天花板分数存在具体的解释问题：分类器常常超过 0.98 的准确率与 F1，但这些分数可以量化的是来源与主题的可分离性，而非真实性。因此该审计用逐通道的测量方案替换了单一的语料内分数。

实际的方法变化是将透明的 TF–IDF 与线性分类器流水线作为测量工具，而不是把分类器分数视为终点。审计移除了三种可能的泄露通道——主题元数据、一个新闻通稿来源标签与重复文档——并评估了随机、主题不相交与时间协议。它还使用了表征消融、小样本学习曲线、先验受控的分布转移分析、与 DistilBERT 的容量比较，以及向 LIAR 的迁移。

第一个诊断是故意破坏性的：在丢弃文章正文仅保留 subject 字段后，分类器在一个保留分割上达到 F1 = 1.000 和准确率 = 1.000。在移除所有三种泄露通道之后——包括出现在 99.2% 的真实文章中的一个来源标签和污染了朴素测试集 19.4% 的 6,251 篇重复文档——F1 仅从 0.9935 降到 0.9814。剩余信号并不集中于少数“出卖”词：删除权重最高的 1,000 个一元词后仍有 F1 = 0.9263。

决定性证据来自移位评估。在主题不相交测试下，平均精度从 0.9995 降到 0.9475，部署时的 F1 从 0.9905 降到 0.8067；先验匹配确认判别力损失为 5.2 个点，而时间迁移几乎无损。DistilBERT 在内部分布上达到 F1 = 0.9993，但在主题转移下平均精度损失 12.9 点，而线性模型为 5.2 点。在 LIAR 数据集上，三种模型的 ROC-AUC 均降至 0.54–0.57，且未能打败多数类基线。

对于新语料，实务操作是先运行仅元数据的基线再调优模型，移除已知的来源与重复通道，然后要求主题不相交与时间测试，同时将排序判别力与部署 F1 分别报告。审计的边界很重要：其结论关于 ISOT，并且可推广到通过配对不相交发布者集合构建的语料库。其主要的词袋探针也无法表示词序、否定或话语结构，因此该结果是对该基准的诊断——而非对所有可能文本模型的完整测试。

人格模拟需要比看似合理的回复更困难的检验：将 LLM 依据人口学角色进行条件化是否能改进其按真实点击率对变体的排序？本文比较了一个以人口学为基础的十人角色面板与一个无角色的零样本基线，针对真实点击率对标题变体进行排序评估。

可信的地面真相是首要的方法约束。在 1,695 个合格的 Upworthy 套件中，只有 399 个（23.5%）在论文使用的单侧两比例 z 检验过滤下具有统计上可靠的包内赢家（p < 0.05）；合格性要求每个包至少有两个不同标题且每个标题至少有 3,000 次曝光。因此论文仅在可靠子集上评估预测效度，而不是把每个观测到的 A/B 赢家都视为可靠标签。

在这 399 个包上，主要的 Gemini 设置使用十个人口学角色，每个人格抽取三次、温度为 0.8、算术平均点击意图分数，且无角色基线使用通用提示抽取 30 次。在此匹配设置下，无角色排序器得到 Kendall’s τ = 0.361 和 top-1 准确率 49.2%，而角色面板分别为 τ = 0.084 和 34.6%；它们的 95% 自举置信区间不重叠。

这一差距并不限于主要模型：OpenAI gpt-4.1 再次使基线优于面板，τ = 0.300 对 0.082，top-1 准确率 49.1% 对 35.8%，配对差距显著。面板也未通过汇聚选择恢复基线效度：六种聚合规则（包括中位数、秩融合与成对多数）都使人格 τ 的置信区间低于基线的。作者解释：人格条件化可能用有偏的角色扮演响应替换了有用的人口层面先验，因此对人格取平均并不能恢复未经条件化的信号。

该解释不应被泛化到超出测试构造的情形。证据来自约 2013–2015 年的英语编辑类标题，而 LLM 的训练包含更晚且更广的网页切片，这可能对泛化构成时间或数据重叠威胁。模拟器还引出的是陈述式点击意图，而基准是揭示式点击；作者警告此构造差距限制了最大迁移效度并可能削弱测得效应。

实际研究操作建议信：为新的受众模拟器预先定义可靠结果过滤，保留匹配的无角色对照，并在加入人格复杂性之前先针对揭示式结果评估排序。下一个复现问题是该结果是否会随其他人格设计、领域、时间段或行为匹配的引出方式而改变。

问题的变更

当代码库发生变动时，代理的记忆必须判断哪些已存声明已变为错误。内容锚定在其源工件发生变化时使声明失效，而语义等价分类则询问一个 diff 是否保持行为——这是关于 diff 的问题，而不是关于已存声明的问题。

在划分保留的评估上，跨越大约 40 倍价格范围的五个模型在真实提交上触发率为 59–72%，对 diff 级问题的精确度为 0.291–0.329，基线发生率为 0.25。使用相同的模型和 diffs，针对以声明为中心的问题的精确度为 0.705–0.974。该增益并非仅仅来自缺失的上下文：在 2×2 对照中，把行为保留判断器提供声明文本仅改变了精确度 0.010 和 0.016，而仅改变问题措辞则分别移动了 0.49 和 0.65。

论文将标签基于执行：一个声明被视为在提交 t 时通过的测试函数，并且当相同的断言文本在 t+1 时失败时该声明翻转。构建这个神谕暴露了 CI 门控问题。对未修改且在 t 通过而在 t+1 失败的测试进行朴素搜索，在 1,005 个挖掘声明中未找到正例，因为维护的 CI 门控主分支会排除那些使先前测试失败的提交。作者因此在评估时将父提交的测试恢复到子提交上。

由此得到的基准包含 10,369 个声明和 184 个经执行验证的翻转，来自 23 个 Python 库，并在 17 个代码库上做了仓库外保留、知识截断后、乱序 diff、释义与留一仓库分析。覆盖率仍不足：pytest-testmon 的召回达到 0.868 但精确度仅为 0.415，因此知道一个变更可以触及哪些测试并不能识别出它使哪些声明失效。

对于可迁移的研究操作，应将维护决策定义为声明特定的谓词，然后在固定模型、diff 与声明的同时交叉问题措辞与声明可用性。在可能时使用以执行为基础的标签，并保留乱序 diff 与截断后对照。

这些条件收窄了声明的范围。每个被评分的声明都是一个测试函数，因为这提供了一个明确的神谕；论文未测试一般的散文记忆。语料包含 23 个 Python 库，均不大，且不包含其它语言。目标挖掘后自然翻转率为 2.0%，因此部署时的精确度必须与分层结果分开解释。被测试的模型来自 Gemini 和 Claude。

原始思路链（CoT）下一个标记熵并不必然是对推理内容的不确定性。论文在同一分布内识别出三种选择：是否生成连接性支架、生成哪种连接词，以及生成何种实质性续写。这种混合为标记选择、剪枝与塌缩诊断带来具体的度量问题：一个高熵标记不一定代表一个困难的推理决策。

一项相关的压缩研究发现句子级熵选择并不优于随机选择，而低熵标记选择主要在数学任务上有帮助，因为它保留了数字标记。Papamichalis 和 Ruane 通过将评分操作明确化，指定一个支架词汇表 S 和内容补集 C，然后将每个下一个标记分布分解为 p = (s p^S, (1-s) p^C)。对于 0 < s < 1，他们的命题 1 给出一个精确的熵链式法则：原始熵等于二元门控熵加上按权重加权后的支架内熵与内容内熵。定理 1 进一步识别出一个开区域 δ(δ+γ)<0，在该区域内原始熵与仅内容熵对位置的排序可以相反；因此两种约定所选的位置可以互不相交。

经验审计使这种分解可操作化。跨越 23 种配置，支架部分在原始高熵集合中最多占到 41%。在匹配分词器的阶梯上，耦合仅在 math 语料步骤发生变化，而支架熵份额在蒸馏过程中持续增长。来自单通道相关性的零参数预测在 54 点范围内跟踪选择保留率，精度在大约五点之内。对于压缩，内容通道评分在每个评估单元格中均优于原始惊讶度。但答案保存审计改变了该结果的解读：重新输入的链大约有 25–50% 的准确率来自重述的答案，并且在去除精确重述与最后一句后，没有任何标记评分器优于随机的连续片段。

一个有用的研究操作是：在评分前定义支架集合与分词器，分别报告原始与内容通道的选择器，并在移除答案重述后重跑压缩。论文的经验范围仍有限：测量在或低于 3B 的模型上进行，任务为 GSM8K 与 MATH-500，且同族检查点对比为观测性而非随机干预。剥离校正也是基于字符串的，因此释义式复制可能幸存，而真实的最后一步内容可能被移除；因此 25–50% 的估计是有界的，而非精确值。

早期工作已确立不同任务间在模型最终答案是否依赖其生成的思路链（CoT）上存在较大差异。本文通过将扰动局部化到一个推理步骤并强制从被破坏的前缀继续生成来解决一个更窄的测量缺口。

方法。论文引入了基于续写的因果测试：对恰好一个中间 CoT 步骤施加扰动，截断链条于此，并强制模型从被修改的前缀自回归地继续。续写成为书面轨迹是否约束答案的行为读出。结果行为被分类为静默绕过、自我纠正或错误传播。

证据。在 Gemma-2-9B-IT 上跨 GSM8K、MMLU 与 BIG-Bench Hard 的测试中，经判断者校正的 21,238 次续写中大约有 45% 为静默绕过、27% 为自我纠正、28% 为错误传播。在 Gemma-2-9B-IT、Llama-3.1-8B-Instruct 与 DeepSeek-R1-Distill-Qwen-7B 上，CoT 的承重性与模型相对任务难度一致。在匹配的 2×2 分析中，错误传播从 GSM8K 到 BIG-Bench Hard 多步算术上升了 16×；对 28,584 次续写的方差分解将 98.8% 的可解释偏差归因于任务难度，而 0.8% 归因于扰动类型。针对推理的特定强化学习抑制了错误传播并压缩了该难度梯度。

论文将“承重性”定义为一个行为概念，有别于机械可证性。作者因此将该梯度框定为监测问题：易于阅读的轨迹可能携带很少因果信号，而重要的轨迹可能在监测器能够介入前就传播错误。四变体的判断者敏感性分析与一项盲测的双注释者研究（n=500）发现错误传播与非传播的标签对判断提示不变，Cohen’s kappa = 1.00。

隐藏态线性探针能区分静默绕过、自我纠正与错误传播，但加性激活引导在最佳情况下仅能翻转约 25% 的错误传播案例。实用教训是，在干预证明之前应将探针读出视为测量而非控制。一个有用的后续是用多步、内部一致的破坏重复续写测试，并将传播率与单步基线比较。

该研究限于大约 7–9B 的指令微调模型与单卡 H100 的计算预算，因此结果可能不适用于更大模型或不同的实验规模。它也仅扰动一个步骤；未测试多步内部一致的扰动。