2026.11.04

问题

论文从一个具体的失效模式入手：增加候选数量并不能稳定缩小最终答案准确率与 pass@N 之间的差距。论文将自我评估建模为成对排序，而不是把选择准确率视为候选数量的直接函数。其排序损失统计错误候选排在正确候选之上的正确—错误候选对。由此得到的偏差—方差分解，将持续存在的错排与随机不一致性区分开来。

方法变化

Scorpio 的方法变化是对随机分组的候选进行联合评分。论文将这一评分器用于验证、树搜索和聚合；在树搜索中，Scorpio 对部分解评分并选出最终答案。这改变了评估器所使用的比较语境，同时论文也研究了重复评分对排序错误的影响。

决定性证据

在报告的验证设置中——候选池大小为 N=128、组大小为 K=4，推理成本包括候选生成和验证——Scorpio 在 HMMT 和 Reasoning Gym 游戏任务上的峰值准确率比最强基线高 2–7 个百分点；或者，它以低 17–41% 的推理成本达到或超过该基线的峰值准确率。在 LCBv6 上，各方法的峰值准确率相近；而使用 Scorpio 的 GPT-OSS-20B 以低 18% 的成本达到最强基线的表现。摘要还报告，树搜索的准确率最高提升 10 个百分点，编码任务中的聚合扩展性提升 11 个百分点。

适用边界与研究用途

在各项实验中，增加计算量会降低方差，而偏差起初会下降，随后趋于平台。这意味着重复评分可以稳定一个错误的排序，却未必能纠正造成该排序的系统性错误。论文明确指出，Scorpio 不会消除排序偏差，也不会弥合选择准确率与 pass@N 之间的差距。组大小同样是一种权衡，而非单调改善：在 LCBv6 上，将组大小增至 K=8 会提高偏差；一种可能的原因是，在同一语境中比较更多候选更困难。

若要复现实验，可固定候选池，分别扫描评分重复次数和组大小，并一并报告选中准确率、pass@N、推理成本以及偏差和方差分量。值得研究的问题不只是更多测试时计算是否有帮助，而是每次额外调用究竟降低了方差，还是针对评估器的系统性错误发挥了作用。

推断问题

可读或可解码的思维链（CoT）只是监督链条中的一种观察。论文将推理可见性、机制忠实性、机制可定位性和行为可监测性区分开来，因为其中一项的证据并不能证明其他各项。

这种区分针对一个具体的推断局限：探针可以恢复所陈述的推理内容，干预也可以影响输出，但这并不能证明轨迹忠实地报告了计算过程，也不能证明干预能够选择性地控制所指明的步骤。方法上的变化是一份主张许可报告：对于每项结论，研究者都要说明目标属性、访问层级、证据材料，并标明每条必要证据链是得到支持、未获支持，还是基于假设。

安全案例将这一差别付诸实践。在 DeepSeek-14B 上，模型重读自身推理时训练的探针，交叉验证 AUC 均值介于 0.84 和 0.98 之间，但其标签表示的是推理步骤内容是否存在，而不是内容是否正确。消融一个解码出的漏洞识别方向，在 59 个案例中的 15 个改变了判定；作者将其视为与忠实性有关的因果证据，而不是选择性控制或轨迹完全忠实的证明。决定性的行为测试证据则较弱：在参考材料辅助下进行评判的 LLM 评审团，不能可靠地判断留出案例中的安全分析是否正确，并且在测试的三种模型上，其表现均低于多数类基线。该结果针对所测试的监测器和评估，不代表所有可能的监测器。

权威提示案例呈现出相反的模式。监测器正确分类了评估的 22 个案例，但仅依据最终答案也取得了相同结果；这些案例是根据修补标准选出的，因此该结果不能证明推理轨迹具有增量价值，也不能说明其在完整问题分布上的表现。测试的七种定位程序均未能分离出一个紧凑的干预目标。这一失败意味着定位问题仍未解决：它并不表明不存在相关机制，也不表明推理轨迹不忠实。

该框架提出的一项实用研究操作，是在每项实验开始前写下一条许可说明：列明目标属性、访问层级、证据材料，以及每条必要证据链的状态。随后分别提出问题：监测器在留出案例上的表现是否超过多数类基线和仅答案基线；干预是否能选择性地控制所指明的步骤；定位结果能否经受更强的测量和留出测试？论文中的案例并未证明这四种属性完全相互独立，也没有证实权威提示的推理轨迹在机制层面不忠实。

长时程终端任务被用于评估和训练智能体，但本文指出了一种测量陷阱：合成方法通常把模型轮次数当作任务长度，并把 LLM 设定的标签当作难度，尽管轮次数在很大程度上反映的是模型习惯，而这些标签与模型通过任务的频率几乎没有关系。

作者转而将工作量与深度区分开来：工作量是在初始环境已知时完成任务所需的操作数量；深度则是必须依次发生的轮次数，因为每轮命令只能在读取上一轮输出后才能选择。作者用参考解答中的非空、非注释行数估计工作量，并指出行数取决于编码风格。深度则估计为任务能够通过时所需的最小明示轮数上限。

DEPTH 改变了合成过程本身：生成智能体在真实软件环境中逐段编写内容，每写完一段就先执行，再写下一段；下一段从此前留下的状态开始。审计涵盖了六个现有数据集中的 734 个任务。在已解决的合成任务中，94% 在三轮以内通过。然而，与轮次数不同，估计深度与公开通过率之间呈负相关，而且在控制估计工作量后仍然如此：在报告的已解决 TB2/TW 样本中，控制 W 后，估计深度与公开通过率的秩偏相关仍为负（秩偏相关 −0.31；仅 TB2 为 −0.49）。

由此得到的 105 个 DEPTH 任务，在测得的深度和工作量两方面均超过所有经过审计的数据集；六个评估模型中，没有一个通过其中一半任务。论文还报告了一项有限的迁移结果：使用生成任务运行数据对 Qwen3-8B 进行微调后，在 Terminal-Bench 2.1 上，pass@1 从 2.6% 提高到 4.9%；在 OpenThoughts-TBLite 上，则从 3.4% 提高到 9.1%；每项任务进行了三次评估运行。

关键边界在于，D 是一种估计值，并非内在的下界：它取决于评估模型、测试框架和初始环境状态。审计分布以 DeepSeek-V4.1-Flash 成功解决的任务为条件，并排除了无法估计的任务；工作量仍是一个对编码风格敏感的代理指标。微调结果只涉及一个模型和两个基准，因此既不能证明广泛迁移，也无法确定训练数据中的哪种属性导致了这些提升。

对研究者而言，可迁移的做法是分别报告 W 和 D，然后在不同求解器、测试框架和初始状态下重新估计 D。在这些估计中进行匹配 W 的比较，可以检验排序是否稳健，还是仅仅依赖特定实验规程。

本文的用途

在根据检索日志决定保留或删除单条记忆之前，先阅读本文：它将归因问题转化为设计层面的可识别性检验，并衡量改变检索方式所带来的准确率权衡。

局限

在论文的 d-可加结果模型下，定理指出，固定大小的检索无法识别每条记忆的个体价值，与记录的情节数量无关。当 d=1 时，在使用结果数据之前即可检验可识别性：个体检索频率和成对共同检索计数提供了相关检验。在对 14 个基准、55 种“基准与检索大小”配置进行的审计中，没有一种能够确定单条记忆的价值；作者将此归因于各个区块内的检索大小固定，且通常还使用私有存储。

方法变化

LEDGER 在拟合之前检验设计矩阵的核空间。它只估计可确定的 Shapley 值，并附上置信区间；其他值报告为无法确定；对检索历史相同的记忆则进行合并，而不声称能够对其作出缺乏依据的个体拆分。对于未来的日志，它会改变检索大小，并将相关候选与较少被检索的记忆结合起来。所述区间保证以噪声条件均值为零且条件次高斯、外生性成立，以及检索集合不依赖过去结果为前提。

证据与边界

实际结果体现出一种权衡。在汇总的 HotpotQA 上，针对 300 个问题进行 24 轮测试，与确定性 top-k 相比，LEDGER 将可确定记忆的比例从 0.001 提高到 0.797；但在 1,600 个留出问题上的准确率降低了 2.6 个百分点（95% 区间 [-4.2,-0.9]）。这种变化方向并非在所有基准上都一致：论文报告，LoCoMo 上的准确率提高了 2.7 个百分点，而 LongMemEval 上 0.8 个百分点的差异则不确定。预注册的无标签查询时门控也未能复现 oracle 准确率结果，因此低成本部署策略仍未解决。

可迁移的做法

对于记忆系统，应记录检索到的集合，而不只是结果，并在分配单条记忆的功劳之前运行可识别性检验。如果某个价值无法确定，就应弃权，或报告可识别的记忆组，而不是声称能够作出缺乏依据的拆分。随后应将检索视为实验设计：改变集合大小和共同检索结构，并同时评估有多少价值变得可确定，以及为此牺牲了多少准确率。尚待研究的问题是，面向查询的设计能否在不重现 HotpotQA 上测得的准确率代价的情况下提高可识别性。

改变结论的对照

本文从已有研究报告的正交约束在 LLM 微调中的益处出发，考察这些约束是否也有助于仅解码器 LLM 的预训练。研究考察了十四种变体，涉及在近 200B 个 token 上训练的 360M–3.1B 参数模型。归因检验采用块大小阶梯设计：固定每行增益和范数处理，同时逐步增大块大小，以增加块内行之间的夹角约束。在 d=1 时，该方法是球面优化——每行方向各自位于一个单位球面上；而 d>1 则在块内增加行正交约束。

决定性的比较不利于较大的块。在匹配的 360M 逐行增益阶梯实验中，使用 C4 验证损失，并在 2×、4× 和 7.69× token 预算下各进行三组配对种子实验；d=32 在每个预算、每个种子上都会使损失恶化；d=8 的差异则有正有负或很小，未能确认存在改进。在测试的预训练实验中，d=1 这一对照本身优于经过调优的 Muon，不过论文指出，这一增益取决于优化器和参数化方式。

有一个特定于放置方式的例外，但它并未推翻上述结论。块大小为 64 的查询/键 SPD 因子有助于测试中最小的模型，但随着训练时间延长、模型规模增大，其平均增益会下降；3.1B 模型的比较处于报告的配对不确定性范围内。在测试的扩散 Transformer 设置中，球面优化相较于对应的 Adam 和 Muon 基线同样改善了 FID，而 64 行查询/键块并未优于 d=1。微调后，没有任何经过测试的 d>1 或查询/键配置胜过与之匹配的 d=1 对照，但报告的区间无法排除较小的下游效应。

论文还审查了部分先前报告的增益。在 POET 实验中，相较于 AdamW 的短期优势强烈依赖基线精度，而且在另一项更长训练的比较中并未持续，因此不能将该结果单独归因于正交性。

对优化器实验而言，可迁移的做法是固定幅度处理，逐步改变新增几何约束的粒度，并在不同训练时长下比较配对种子，然后再将改进归因于该约束。这里的结论仍有明确边界：主要证据涉及硬约束和经过测试的重参数化、固定的连续行块，以及 C4 验证损失；论文并未证实软正交惩罚、学习得到的分组或所有评估目标均成立。核心预训练实验单元大多使用三个种子，但最长的 360M 运行仅使用一个种子；部分大块 SPD 结果收敛的种子少于三个。