2026.11.07

预填充到自回归的跨模型迁移（PACT）将较大模型的提示表示与较小模型的生成过程相结合。本文针对一个具体的识别问题：任务得分更高，并不能证明接收模型从发送模型提供的有用信息中获益，而不是得益于可训练桥接层或接收模型自身的适配。

PLatour 使用冻结的发送模型和接收模型骨干，并训练零初始化线性桥接层，在预填充期间将投影后的发送模型提示表示加到接收模型的残差流中。迁移不包括提示的最后一个 token；预填充结束后，接收模型在没有发送模型参与的情况下生成，GRPO 任务奖励只更新桥接层。随后，PACT-Check 将训练后的系统与无信息量的发送信号、自我通信和仅接收模型训练进行比较。其 PACT-Score 是相对于适用且经过测试的最强对照的增益，而不是相对于独立接收模型的原始增益。

在受测的 Qwen3 生成任务上，使用任一发送模型规模时，PLatour 的表现都优于独立的 Qwen3-1.7B 接收模型。使用 235B 发送模型时，其 Chemistry/GSM8K/MATH500 分数为 69.29/89.35/78.2，而接收模型单独运行时为 41.43/80.86/73.40；使用 8B 发送模型时，分数为 68.39/87.91/76.50。但关于通信本身作用的证据因任务而异：报告的 PACT-Score 在 Chemistry 上为 +3.34 个百分点，在 GSM8K 上为 +0.23 个百分点，在 MATH500 上为 −4.05 个百分点。

这正是对照实验重要的原因。论文报告，桥接层训练即使没有外部发送模型也能提升表现；在 Qwen3.5 的数学和代码领域平均分上，PLatour 也未胜过被比较的全参数接收模型 GRPO 对照。与 Mostik 的对比颇具启发性，但并非受控比较，因为其训练数据未公开，桥接范围也不明确。此外，AIME-135 与 DAPO 训练或验证数据存在 55 处已识别的重叠，而 AIME-80 排除了这些重叠。

对于新的潜在协作系统，可迁移的操作是同时报告基准增益与发送信息对比：移除或替换依赖具体输入的发送信号，训练仅接收模型的适配对照，并与适用的最强对照比较。正的 PACT-Score 仅支持相对于这些受测对照存在发送信息效益；它不能排除未经测试的解释。后续研究应追问结果能否在跨任务的更强对照下依然成立，而不只是桥接层是否曾经提高过准确率。

基于政策的决策基准评估系统能否将书面规则应用于金融和运营案例，但如果基准错误陈述了所要求的决策，即便回答遵循政策，也可能被判错。本文审计了九个公开基准。作者有目的地选取输入、代码或评分器可供检查的任务，结合来源追溯、程序执行、输入一致性检查，以及对评分条件的受控测试。他们发布了 BAR，这是一个经过版本管理的审计证据与修订集合，可用于重新评估。

在方法上，本文将基准变更与模型变更区分开来。在固定回答重新评分中，作者修正参考答案或评估器，同时保留已保存的回答。在 OpenExempt 实验中，他们修改任务假设、改变给定的中间金额，并为每个模型、案例和条件各生成一个新回答。这一区分使两类分数变化在分析上保持分离。

最清楚的固定回答结果来自 RuleArena Tax：参考程序遗漏了必要的零下限。在恢复这一项下限、重放全部 300 个案例后，参考答案中有 27 个发生变化；对同一批官方接口回答重新评分后，Haiku 5.5 的通过数从 209 变为 224，GPT6 Luna 从 241 变为 261，Gemma 4 31B 从 195 变为 220。ConditionalQA 暴露出另一种问题：其官方评估器在计算汇总分母时排除了缺少预测 ID 的问题。按完整覆盖重新评分后，Luna 从 52.34% 降至 47.93%，Gemma 从 58.02% 降至 47.23%，Haiku 则维持在 58.63%；这衡量的是指定接口下的提交覆盖率，而不是逐条回答质量变差。

在修订后的 OpenExempt 任务中，调整给定的豁免金额后，Haiku 和 Luna 的通过数上升，Gemma 则减少一个案例；不提供这些金额时，所保留的单次生成中，每个模型都有 69/69 个回答通过。严格划分的 PolicyGuardBench 中，完全相同的可见输入对应着相互冲突的标签，因此形成了 61 个案例的一致性上限——但这既不能确定哪些标签错误，也不是模型性能指标。

对研究者而言，可复用的做法是分层审计决策约定：核实可见政策与案例事实，重放参考答案的计算过程，探查评估器的边界条件，并将固定输出重新评分与重新生成回答的实验分开。结论应谨慎限定：所选案例不能证明基准整体的缺陷发生率；语义审查借助模型完成，未经独立领域专家裁定；分数实验使用了三种不带工具的模型，并且每个输入和条件只保留一个回答。OpenExempt 的结果针对的是经过修订、条件完全明确的任务，并不代表对原生记录的全面修复或裁定。

本文聚焦一个具体的归因问题：长视频问答报告中的增益，可能混合了三种干预——帧选择、注入非视觉证据，以及回答模型路由。VideoRouteAudit 固定骨干模型、帧预算、解码方式、提示词和评分器，每次只改变一项决策。这样，原本复合的系统比较就转化为一项受控审计，用来判断哪项决策导致了测得的变化。

在完整的 Video-MME 长视频子集（n=900，K=8）上，没有任何受测选择规则显著优于均匀采样。仅考察帧选择时，最大估计值为 +1.9 个百分点，95% 置信区间为 [-1.2,+5.0]；级联方案的估计值为 +1.2 个百分点，区间为 [-1.7,+4.1]。级联方案满足研究设定的 ±5 个百分点等效界值，但未达到更严格的 ±3 个百分点界值。因此，这项实验所支持的结论范围更窄：它并未表明帧选择从不重要，只表明在此协议下，这些受测对比的差异很小。

测量规模至关重要。在 n=200 的子集规模下，四项对比中有三项的幅度最多放大至 3.8 倍，一项的符号反转；对重采样得到的 200 项子集而言，有 35.8% 的抽样结果中，效应符号与完整子集的效应相反。开展新审计时，可借鉴的做法是使用可行范围内最大的评估集，在一次只改变一项因素的设计下比较配对预测，并同时报告置信区间和预先设定的等效界值或最小效应界值。

协议核查也改变了对早期证据的解读。原异常领域中的“+ASR”实验组并未注入文本，因此其合并后的 +4.7 个百分点增益来自帧选择与开发阶段前缀的共同作用。实际在问题之后加入转录文本时，XD-Violence 上的准确率下降了 10.0 个百分点，UCF-Crime 上下降了 13.0 个百分点。在 Video-MME 长视频子集上，将 ASR 块置于问题之前，相比不含文本的均匀采样，准确率提高了 4.4 个百分点，但这一位置比较是事后进行的，且未作调整。更换回答模型后，MUSIC-AVQA 上提高了 +15.1 个百分点，在其表现最差的类型上提高了 +33.3 个百分点；关闭专家模型的音轨输入后，仍保留了 92% 的增益，说明这一对比主要反映的是模型替换。

这些结论的边界很重要。审计无法判断，近似等效的选择表现究竟意味着均匀采样已提供足够证据，还是 VLM 未能利用选择得更好的帧。对评估数据集、模型和帧预算之外情况的泛化尚未检验。专家模型比较也不是纯音频效应估计：模型之间的差异不止于能否访问音频，而且音轨控制仅覆盖一位专家模型和按类型分层抽取的子集。

局限

已发布的编码智能体基准可能积累维护欠账：随着模型进步，有效解法可能被现有验证器拒绝，而评估基础设施的变更也可能使任务和测试中内嵌的假设失效。因此，基准分数可能逐渐偏离其原本意图测量的能力。

方法变更

本文不把基准发布视为验证工作的终点，而是将基准视为需要持续维护的软件。其持续验证工作流结合社区报告、任务材料、既往智能体轨迹、自动预言机检查、基于智能体的审计，以及经过人工把关的修复。该工作流将提出缺陷与接受修复分开：审计人员标记可能的问题并提出修复建议，验证环节对这些判断进行质疑并检查拟议改动，维护人员则决定哪些内容纳入下一版本。

在 Terminal-Bench 2.0 的 89 个任务上，审计发现 28 个任务存在需要修复的缺陷。缺陷类别可能重叠，包括指令与验证不匹配、任务偏移以及环境问题。修复结果以 Terminal-Bench 2.1 的形式发布。该工作流相对于这组修复的 57.1% 精确率和 71.4% 召回率是回顾性测量，因为该工作流参与构建了已发布的修复集合；这些数值并非对缺陷发现能力的独立估计。

决定性的测量效应

作者在两个基准版本上重新运行了 19 个智能体。智能体排名仍高度相关，Spearman rho = 0.958，但个体分数最高变化了 12 个百分点，排行榜上相邻的位置最多移动了三名。因此，整体排名稳定并不保证彼此接近的模型比较不受影响。

资源策略也是一个测量变量。在默认时间预算下，按报告中的分解结果，失败试验中超过一半以超时结束，不过这一比例随测试框架而异。论文摘要给出了具体的扩展示例：延长时间限制后，GPT 5.4 上相差 20 个百分点的测试框架差距被消除；GPT 5.4 mini 上相差 30 个百分点的差距则缩小到 5 个百分点。该分解会过滤上游基础设施故障，因此固定时间下的分数可能混合任务求解能力与执行速度。

边界与研究操作

审计人员之间意见一致，说明结果具有一致性，并不代表其正确；成本较低的审计人员一致性较差，尤其是在归因任务偏移方面。对 34 个 Harbor-Index 任务进行的小规模迁移检查也发现了该工作流漏掉的缺陷。这些结果说明，不宜完全依赖自动化验证。

开展新的智能体基准研究时，应借鉴完整的操作流程，而不只是沿用醒目的指标：保留任务材料和轨迹，以版本管理并由维护人员把关的方式修复问题，在修复后重新运行固定的智能体组，并报告对时间预算的敏感性。本文的证据支持将任务有效性和资源设置视为评估规范的两个独立部分，而非仅凭排行榜稳定就认定测量稳定。

CORE-Bench 的 Hard 条件只提供 README，要求智能体自行安装依赖并选择复现命令。对失败案例的分析发现，在最难的任务中，依赖安装与版本解析，以及从多个输出文件中查找结果，是反复出现的障碍。

ReproBridge 将恢复出的流程打包为经过改进的代码、环境设置、实验启动器，以及供下游复用的复现指南或变更记录。其主要比较将上游调查、修复、审查和打包，与最终交接材料一并考察，因此无法单独识别标准化文档或交接格式的作用。

ReproBridge-Bench 收录了来自 36 篇论文的 1,463 个精选任务；参考结果经核验后，保留了来自 387 项实验的 1,029 个任务用于下游评估；每个保留任务都有五个经人工核验的参考观测值。在主要测试中，全新会话会收到原始代码或改进后的材料。成功的判定标准是：数值匹配预先固定的 95% 兼容区间，且主要审计器未确认存在执行完整性违规。

在评估的四种模型中，改进后的材料使平均复现成功率从 76.4% 提升至 92.6%，每种模型均有所提升。下游 API 支出降低了 16.8%–23.7%，节省幅度因模型而异，且不包括材料构建、审计和 GPU 成本。在一个模型、一个由 12 篇论文构成的子集上的消融实验中，移除四个组成部分中的任何一个都会降低成功率；测得的最大降幅出现在移除改进代码或环境设置之后。

这一结果并非完整保真度证明。针对八篇论文的 818 个结果进行人工审查后，自动审计的召回率为 79.5%，并漏掉了 39 个无效结果中的 8 个。此外，还出现了 136 个任务—模型组合从原始材料成功转为改进材料失败的反转，其中 84 个属于数值不匹配，并集中在少数几篇论文中。因此，评估结论仅适用于其保留的任务、固定参考区间、受测智能体和审计流程，不能直接推广到一般的机器学习复现。

开展后续研究时，应在分别改变材料构建流程和交接格式的同时，固定修复后的代码与测量方法。随后测量全新会话的成功率、审计漏检情况和总成本——包括构建、GPU、维护及人工审查成本——而不要把下游 API 费用的节省视为端到端成本的节省。