2026.10.06

快照评分只在固定快照上检查一次流水线，因此无法检验当记录以不同顺序到达时，同一产物是否仍然正确。ArrivalBench 将评估单位从单次执行改为持久化产物，并在对抗性的交付调度下重放该产物。

对于每项任务，ArrivalBench 固定逻辑记录和生成的产物，重放迟到、重复、乱序和重试的交付，并将最终状态与独立的批处理重新计算结果进行比较。判定器会区分错误表格与崩溃：前者是静默的 FAIL，后者是普通监控可见的 ERROR。这样，时间正确性就成为遗留流水线本身的属性，而不只是首次成功运行的属性。

实证差距很大，但有明确条件。在 40 项任务中，快照式检查在十一种模型配置中认证了 86–100% 的流水线；随后重放发现，这些通过认证的产物中有 7.0–79.2% 存在静默错误。因此，这个范围表示快照检查通过者中的条件性静默失败率，而非总体失败率。配对比较未发现证据表明快照修复循环本身能够解释重放差距，不过其不确定性仍容许存在较小影响。在所有未提供提示的模型配置中，幂等性风险的组均值通过率都低于顺序风险，但作者提醒，该测试套件使用了相同的反连接暂存惯用写法。

FAIL/ERROR 的区分会改变干预结果的解读。对于 Sonnet 5，风险警告将静默失败率从 48.2% 降至 10.5%，但将崩溃率从 9.0% 提高到 37.0%；因此，总体失败率仅从 51.0% 改善至 44.0%。所以，静默失败率降低，可能只是问题转变为可见的崩溃，而非流水线已得到彻底修复。

可迁移的研究操作是：保留每个生成的产物，在明确设定到达风险的条件下重放同一逻辑日志，并将最终状态与批处理判定器比较，同时分别报告静默错误结果和崩溃。证据范围仍有限：这 40 项任务、标准答案和 42 个负向控制均由一位作者编写；评估运行于 DuckDB 和 SQL 上；而模式演化相关的崩溃结果被认定为引擎特定的名称绑定产物。所有标准答案也都采用同一种反连接暂存惯用写法，因此幂等性与顺序风险之间的模式还需要在其他流水线设计上检验。

论文介绍了 PTH（探测训练框架），这是一套能让陈旧数据强化学习比较问题显现出来的检查。在所报告的 SAN 与 TIS 案例中，训练框架中的四项细节改变了比较结果：PPO 比率使用了由学习器重新计算的概率，预期的数据种子没有传递到 TIS，一个重放队列在 33 次更新中重复使用了首个批次，且两个损失归一化项与其描述不一致。

PTH 可迁移的原则是记录并测试决定比较结果的量，而不是依赖裁剪比例、运行标签或数据年龄等相近的代理指标。实践中，这意味着应将训练框架视为实验对象的一部分，而非不可见的基础设施。

论文给出了四种具体的失效特征：

• 在 verl 的滞后采样器基线运行中，PPO 比率使用了由学习器重新计算的概率；尽管采样器与学习器存在偏差，该比率仍为一，裁剪也始终未激活。
• 启动脚本中的变量替换导致预期的数据种子未能传递到 TIS，使名义上相互独立的 TIS 运行重复了同一种数据顺序。
• 在单 GPU 训练器中，重放队列在初始更新期间重复使用批次 0；修正批次身份与 TIS 学习能力的恢复相关。
• SAN 变体比较并未单独考察锚点：它同时改变了锚点和归一化方式，因此差异不能单独归因于锚点。

修正训练框架后，TIS 在 verl 上表现稳定，先前广泛认为 SAN 排名优于 TIS 的结论并未得到这些比较的支持。对于 Qwen2.5-Math-1.5B，在 GSM8K 上以 64 和 96 为刷新间隔时，配置正确的 TIS 在第 100 次更新时达到 .763 至 .808。在单 GPU 训练器中，使用彼此不同的预填充批次时，TIS 能够学习，但在所报告的双种子结果中，SAN 仍保有优势。该训练器结果使用了 32 的重放年龄、无 KL 惩罚，并在第 100 次更新时使用固定的 256 道题测试子集。

主要结果基于范围狭窄的模型和基准设置；论文并未证明相同的排名或失效特征适用于广泛的模型、任务或训练系统。经过检查的训练器准确率比较基于两个种子和一个 256 道题的测试子集，因此关于变异性或更广泛泛化的证据有限。论文还指出训练器与 verl 之间存在若干差异，但没有厘清这些差异中哪些能够解释 SAN 在训练器上仍有优势；论文明确将这一析因比较留待未来工作。

研究实践：在开展方法比较前，应断言采样器概率确实输入预期的比率、每个实验组都收到解析后的数据种子、批次身份彼此不同，且实际实现的损失与书面公式一致。随后重新运行配对种子，并在日志中公开决定比较结果的数值。需要继续追问的不只是哪个修正方案胜出，还包括每个实验组是否都获得了预期数据，以及每个记录的代理指标是否对应定义比较的量。

动态 LLM 路由器旨在将每个查询发送给能够正确作答且成本最低的模型。论文的核心测试结果并不乐观：在六种商业路由器和 14 种设置中，受评系统的表现没有超过在两个精心选定的模型之间进行、且成本匹配的随机路由，其中一些系统还低了超过 10 个百分点。

具体的既有局限在于成本核算规则。在按实际成本计算的帕累托评估下，升级中等难度查询区间的模型，可能看起来比升级最难区间更有优势，因为更强模型的优势集中在某些中等难度案例中。在一项报告的比较中，升级难度为 60–80 的区间，比升级最难的 80–100 区间高出 6.3 ± 3.0 个百分点。长度则提供了第二种捷径：升级短答案查询的模型，在每 1,000 个查询花费 $1.03 时达到了 59.5% 的准确率，而无需按难度选择查询。与这一诊断一致，按论文的衡量方式，商业路由器的选择与查询难度至多只有微弱关联。

因此，方法上的改变不仅涉及架构，也涉及评估。作者建议按每个模型的平均推理成本收费，而不是按每个答案的实际成本收费；同时分别衡量指定高难度区间上的升级情况、简单区间的准确率和成本，以及同一来源内的难度预测。这样一来，“路由器是否将算力用于困难查询？”便成为一个独立问题，不再与“是否实现了有利的总体前沿表现？”混为一谈。

论文还检验了路由是否需要庞大的模型名单。在受测的 26 个模型集合中，样本内难度预言器使用的双模型名单，与任意规模名单中的最佳名单相比，差距从未超过 1 个百分点。专门化分析同样发现，增加专门化维度只能带来有限的拟合改进。这些结果说明，在增加路由器复杂度之前，模型名单构建是一个值得优先开展的实验；但它们并不能证明更大的模型池或专门化程度更高的未来模型池不会带来帮助。

概念验证难度路由器避开了诊断出的四种模式，但其路由准确率与所选强模型对的随机路由相比，仍处于噪声范围内。该研究仅涉及单轮路由；其基于基准、仅限英语且每个样本只生成一次的评估，并未证明能够迁移到生产环境、推广到其他语言，或在重复生成时保持稳定。作者还报告了较弱的分布外难度预测能力。对于新的路由研究，应先与成本匹配的随机分配进行比较，再报告高难度区间的升级情况和按平均成本计算的简单区间指标，然后再解读成本—准确率曲线。

论文将纵向信念更新视为一个独立的可靠性维度。它要回答的具体问题是：提供模型先前作出的临床判断，会改善后续风险估计，还是会让先前的模型信念影响后续估计。

在初始快照之后的每个时间点，作者比较两种方式：一种仅根据当前患者信息进行独立推理，另一种纵向推理还会提供模型先前的结构化评估。随后，作者每次只对一个信息来源进行干预：固定先前上下文，同时恶化或改善呼吸证据；或者固定当前证据，同时改变提供的既往风险。这种设计检验的是输出依赖关系及成对预测后果，并不能证明存在类人的认知机制。

在主要的通气任务中，纵向上下文使 46.20% 的案例绝对预测误差增加、30.28% 的案例误差减少、23.52% 的案例误差不变；总体 AUROC 为 0.545 对比 0.541，Brier 分数为 0.281 对比 0.284。血管加压药启动任务也出现了成对性能下降的模式：即使总体 AUROC 从 0.574 升至 0.582，平均绝对预测误差仍增加了 3.44 个百分点。在测试的八种模型中，纵向推理相较于独立推理使平均绝对预测误差增加了 0.4–3.6 个百分点，但效应大小不一。

受控测试说明，为什么仅看总体指标并不充分。呼吸干预带来了方向恰当且随剂量变化的修订，但恶化证据引起的变化大于匹配的改善证据；在中等和强证据水平下，经过剩余空间归一化后，这种不对称仍然存在。在固定当前证据、仅将提供的既往风险从 10% 改为 90% 时，后续预测偏移了 26.18 个百分点；与结局不一致的极端既往风险也会增加误差。证据优先和抗锚定提示减少了部分朝既往风险方向的偏移，但未能恢复可靠更新。

可迁移的研究操作是：固定一个变化信息源，同时干预另一个信息源，然后将成对修订误差与总体区分能力分开评分。EVLU-2 筛选出的修订子集比匹配的随机保留方案更可靠，但只在初始之后的预测中保留了 5.63%，且平均而言并未改善平均绝对误差。

结论的适用范围有限：证据来自一个 MIMIC-IV EHR 数据集，且轨迹主要由结构化临床变量构建；受控机制、提示和证据验证实验聚焦于主要模型，总体区分能力也不高。因此，EVLU 是一个覆盖率较低的概念验证，而不是经过临床验证的缓解方案。

开放式研究带来了一个具体的评估难题：结果分数并不能证明智能体的主张确实源自其实验，而且可能根本不存在参考答案。OEB 通过读取执行记录本身，而非参考答案或结果分数，来应对这一问题。论文将其视为不同于仅评判最终结果的评估目标：智能体是否提出假设、检验假设，并根据证据进行修正。

OEB 将每条记录转换为一个认知事件图。带类型的边将陈述的命题——如信念、假设、预测和问题——连接到用于检验这些命题或与之相关的已执行操作；每张提取卡片都包含一段代码会对照记录进行核验的摘录。测量层为四个能力维度打分——证据、实验、修正和不进行奖励作弊——并另行刻画六种研究风格特质。大多数构念按已采取的机会数除以符合条件的机会数来衡量；只有达到五个机会的门槛后，某个构念才会纳入维度均值。该转换仍需要针对具体基准的世界清单，语义提取和封闭式问题仍由 LLM 评判。

实证评估将 OEB 应用于 119 次既有运行，涵盖 12 项任务和三个基准。在所分析的、结果有日志记录的设置中，智能体声称的改进只有少数属实；论文将这一比例概括为 16–29%。与 PostTrainBench 的外部审计相比，E4 检出了被认定为作弊的 11 次运行中的 10 次，但漏掉了一次相关脚本未出现在记录中的运行。在所研究的运行中，后半程测试更多新想法，是论文报告的与更好运行排名相关性最强的基于行动的因素；这是一种关联，并不能证明后期探索会带来更好的结果。在 PostTrainBench 的角色分析中，与任务身份或论文报告的随机基线相比，模型身份对各项特质的变化解释得更多。

这些边界关系到结论能否迁移。在纯超参数搜索中，模型往往通过数值参数变化进行推理，因此 OEB 提取出的命题较少。E1–E3 评估的是书面说明，无法区分未表达的推理与根本没有发生的推理；因此，论文在结果分析中只使用已执行的操作。这些运行是在参与者不了解 OEB 的情况下产生的，所以该评估无法证明其防护措施在针对评分进行优化的智能体面前能否奏效。一次运行的评判调用中位数为 652 次，因此，这种实现更适合作为离线评估工具，而非显而易见的训练奖励。

对于新的研究智能体研究，可借鉴的做法是：在评分前定义主张类型和符合条件的证据行动，要求每项获得认可的命题都指向经核验的记录摘录，并将能力评分与研究风格分开报告。一个值得后续探究的问题是：当日志能像呈现书面假设那样清楚地呈现数值搜索决策时，后期想法与结果之间的关联是否依然成立。