2026-10-18
2026-10-18
实验记录提升大语言模型对未见 AI 干预的排序能力
Language Models as AI Research World Models
AI 研究智能体提出实验的速度可能快于执行实验的速度，因此在预算有限时，预测实验结果就很重要。本文将这种不匹配视为一个选择问题，而不只是生成问题。
方法上的变化是使用大语言模型作为研究世界模型。给定环境描述、候选干预以及获准使用的实验历史，该模型会在执行前预测干预带来的增益中位数。研究比较了无历史记录、环境内记录和跨环境记录，并进一步检验由此得到的排序是否会改变固定预算下实际执行的实验，以及在八轮循环中的实验选择。
评估使用了来自九个研究环境的 2,653 条记录，涵盖预训练、后训练和推理，共代表 171,862 个 H100 GPU 小时。在跨环境测试中，目标环境不提供任何记录：来自其他四个环境的记录使五个自回归预训练目标上的平均 Spearman 相关系数从 0.628 提高到 0.729。在 Qwen3 上，仅使用来自 OLMo3、Marin 和 Nanochat 的预训练经验，与零经验相比，可将选择遗憾降低 78%。
选择结果是更具可迁移性的证据。在报告的多轮设置中，环境内知识和跨环境知识分别使最佳增益提高 15.8% 和 11.6%。多轮证据来自五次 Autoresearch 评估，每次包含八轮，均在 OLMo3-100M 上进行。在使用 Claude Opus 5 测试的 OLMo3-100M 实验组中，作者发现，增加记录比单纯增加推理投入更能改善排序。
适用边界很重要。跨环境迁移是在五个自回归预训练环境之间得到验证的，并未覆盖论文中的后训练或推理环境。默认的研究世界模型使用商业 API；固定模型版本和推理设置，也不能使预测达到逐位可复现。参考重复性测量并未估计干预特定的方差，因此较小的预测或实测增益仍难以解读。
由此可以得到一项有用的复现实验操作：将每次运行记录为环境／干预／结果条目，在每次决策前只提供当时可用的记录，对留出的干预进行排序，并在固定预算下衡量选择遗憾，而不只是预测相关性。接下来可以探究的是：在新的训练／测试划分和研究环境中，这些记录是否仍有价值，尤其是在目前尚未测试迁移效果的场景中。
阅读本文，了解一种具体的设计模式：利用序列化的实验历史为高成本干预排序，再根据预测器促使智能体在固定预算下选择了哪些实验来评估它。
TasteVal 将实验效率与实现能力分离，但并未衡量完整的研究品味
TasteVal: Measuring the Experimental Research Taste of AI Systems Against Human Experts
TasteVal 将“研究品味”缩窄为一个固定问题：模型能否高效地设计实验并更新结论？论文明确指出，它不衡量模型选择哪些问题值得解决。它要处理的具体混淆因素是，端到端结果可能同时反映实验判断能力和实现能力。
因此，该基准将不同角色分开。研究者提出实验并解读验证结果；固定使用的 Opus 4.8 编码器负责实现并运行实验。运行在达到 40 个 H100 GPU 小时或 120 个墙钟小时后结束，研究者看到的是验证结果，而非测试集。TasteVal 不只报告最终分数，还通过达到目标分数所需的串行计算量来定义实验品味。人工参照值是 24 位专家在各任务上的最佳尝试，每项任务至少由两位专家参与。
在 TasteVal 和所述预算条件下，Opus 5.5 的分数与串行计算量效率超过了专家基线，其计算量倍数为 2.30，95% CI 为 1.15–4.37。作者还报告，Opus 5.5 每次运行平均花费 $282，因此这不是等美元成本比较。他们拟合出一项显著的加速：相较于较早期趋势，前沿模型在 2025年十二月之后的 TasteVal 计算量倍数加速，翻倍时间为 3.0 个月（95% CI 1.7–5.0）。相比之下，论文报告称，最终归一化性能没有出现统计显著的对应转折。移除显式评分反馈后，两个受测模型的估计倍数均有所降低，但这项涉及四项任务的实验未能证明这种降低具有统计显著性。
因此，核心方法论启示是：应分别报告分数与计算量的变化轨迹，以及最终分数。由于问题选择不在基准范围内，论文所涵盖的内容比完整的研究品味更窄。为防止污染，八项任务处于保留状态。专家比较基准经过了筛选：它采用每项任务的最佳尝试，而不是对典型专家表现的估计。一项可迁移的评估做法是固定实现条件，记录每次实验及其解读，衡量分数与串行计算量的变化轨迹，并单独报告最终分数。一个有用的后续实验是在移除评分反馈后重复同一设置；TasteVal 的小规模探测使其成为一个有待检验的稳健性问题，而非已定论的结论。
阅读本文，了解如何将实验选择效率与编码能力分开评估，以及如何检验表面上的提升在移除显式评分反馈后是否仍然存在。
abstract; Section 1, paragraph 3; Section 2.1
MECHVAR 以按后验加权的响应方差选择有限候选库中的区分性探针
MECHVAR 针对一个受约束的规划问题：候选机制的有限集合、可执行的探针、后验权重和有限预算都已给定。它的目标是选择能够区分机制的实验，而不只是复现某种改进、却仍无法确定其原因。
对于每个候选探针，该方法对其预测标量响应的后验加权方差进行评分，并选择得分最高的剩余探针。在各机制和探针的标量高斯预测响应具有相同正方差的条件下，命题 1 表明，这种排序与经典的 Box–Hill 后验加权成对 KL 准则具有相同的 argmax 集合。该评分与期望信息增益之间的关系是局部的，而非全局的：当响应差异相对于共同噪声尺度足够小时，命题 2 表明，对于方差评分差值非零的探针，两者给出相同的成对排序；在该条件范围之外，高阶项可能改变排序。
相应地，实证证据的范围也较窄。在预测模板噪声 σ_pred=0.5 的 25-block 压力审计中，MECHVAR 相对于优先确认策略的准确率优势为 3.20 个百分点（95% CI [1.81, 4.59]；Holm 校正后的 p=0.00196）。同一审计未能在统计上区分 MECHVAR 与 EIG：两者准确率分别为 94.32% 和 94.08%（Holm 校正后的 p=1.0）。在留出的 Digits 循环实验中，MECHVAR、score-greedy 和 EIG 的归一化机制识别 AUC 分别为 0.8975、0.7825 和 0.9092。
计算效率结果幅度显著，但适用范围明确。在 K=100 个机制、E=200 个探针时，在记录所用的单线程环境中，对整个候选库进行 MECHVAR 评分的中位耗时为 10.36 μs，而六节点求积 EIG 的中位耗时为 57,687.03 μs。这些计时仅涵盖评分计算，不包括模型拟合和探针执行。
Box–Hill 等价关系是有条件的：当预测尺度随机制或探针而变化时，该关系通常不成立；论文的合成敏感性检验报告称，随着异方差增加，最佳探针的一致性会下降。MECHVAR 还假设候选机制和响应模板已由外部提供；它不会生成假设或探针。可迁移的研究操作是记录每个入选探针背后的机制对贡献，然后检验下一个实验是否能区分仍然合理的机制对。
阅读本文，了解如何审查一个入选探针是否能区分合理的机制，以及共同方差假设在哪些情况下会使这种简化方法不再可靠。
RINI 为既有论文比较增加归属审查与有限修复
RINI: Seeing the Prior Is Not Enough
一项提案可能准确描述了一个既有机制，却声称是自己首次提出。RINI 检验提供早期论文是否能纠正这种贡献归属主张；随后，其工作流会审查归属并在局部修正相关主张。OpenNovelty 将声称的贡献与检索到的候选内容进行比较，并要求肯定性反驳必须有来源核实的引文作为依据；其提供的记录还报告称，没有基于基准的检索评估。
方法。 作者开展了三个受控实验，每个实验都包含一项具有相关贡献的先前工作，以及一项同主题对照。RINI 接收提案、目标贡献和关键先前工作的摘录；它将主张与证据关联起来，检查所提出的剩余区别是否也已被该先前工作涵盖，并至多应用四处经过验证的精确跨度编辑。如果重建失败，确定性验证器会保留原文。这使操作从寻找相关论文转变为核查贡献归属、检验所提的剩余区别，并约束修改过程。
证据。 在 175 份可解释且已暴露于先前工作的提案中，137 份识别出该先前工作与目标的关联，但只有 61 份正确地将已涵盖的贡献归于先前工作。在 71 项提出的剩余区别中，37 项已由同一先前工作确立，24 项经与该工作比较后仍成立，另有 10 项尚无定论。暴露于先前工作的结果显示，在报告的自动化指标上，整体层面的无依据新颖性并未明确减少；不应将其解读为经人工评分的整体新颖性结果。
在 240 项匹配的原始提案中，三种策略都判定其需要修正；按种子平衡计算的成功修正率，RINI 为 72.2%，Retrieve-and-Revise 为 39.1%，Self-Revision 为 11.7%；RINI 相较于使用相同证据进行直接修订的差异为 33.0 个百分点。在完整的 360-source 数据集中，RINI 较高的修正率同时伴随着对原有技术方法和研究问题的高度保留。
边界与启示。 修正结果是三种修订策略之间经人工评分的比较。形式化修正条目只标注了一次，未进行重复标注或裁决。RINI 仅针对所提供的关键先前工作核查剩余区别，因此某项区别仍然成立，并不等于其新颖性已在全局范围内得到认证。对于研究工作流，应分别处理检索、贡献归属、剩余区别核查和编辑验证，并在报告任何仍成立的新颖性主张时，同时说明证据范围。
阅读本文，了解为何系统可能识别出一项先前工作，却没有将贡献归于它；以及匹配的人类评分修复测试如何将归属诊断与单纯检索区分开来。
abstract; Appendix A.2, Table 7 workflow; Section 4.1, paragraphs 2 and Table 3; Section 4.1, paragraph 4 and Table 3; Section 7.1, Table 5; Section 7.2, paragraph 2; Appendix J.1, task and evidence; Appendix I.2, contribution-diagnosis instructions · Section 2.3.3, Contribution-level Comparison and Evidence Verification (S2.SS3.SSS3.Px2.p1; S2.SS3.SSS3.Px5.p1); Section 4.2, Retrieval Benchmarking (S4.SS2.p1)
外部预处理会改变 M4 中不同模型的预测表现
本文研究的是基准测试方案问题。作者认为，现代基准测试通常采用简单缩放，却忽略了用于处理非平稳性的差分等变换，由此产生一种结构性预处理偏差，可能有利于内置数据处理能力的模型。本文提出的改变，是将外部预处理明确设为实验因素，而非将其作为不加说明的基础设施。
在约 29,000 条 M4 时间序列上，该基准对 11 个预测模型和 16 种可逆预处理流水线进行了评估。这个 16-way 网格以固定顺序组合可选的 Box–Cox 变换、一阶差分、季节差分和 z-score 标准化。参数在训练窗口上拟合，预测结果则在评分前进行逆变换。比较既包括对整个数据集应用统一流水线，也包括逐序列 Oracle，即为每条序列选择测试过的最佳流水线；为隔离预处理的影响，大多数模型超参数保持固定。
在统一流水线评估下，归类为已内化预处理能力的模型通常优于不具备该能力的模型；这一结论以所选 M4 子集和该评估方案为条件。但对全局采用激进预处理，可能会使某些模型—序列组合的误差灾难性恶化，因此增加变换并不总是有益的。在 Oracle 比较中，每个受评模型的 MASE 都有所改善。表 15 列出了相对于 No Pipeline 的提升：Linear Regression 为 33.98%，XGBoost 为 41.48%，MLP 为 59.21%，N-BEATS 为 44.86%，Informer 为 86.73%；只有 MLP 和 Informer 超过 50%。
这一结果对基准设计具有决定性意义：单一方案可能奖励预处理稳健性，而逐序列选择流水线则能揭示共享方案所掩盖的性能。研究操作：在同一流水线网格上重新进行架构比较，同时报告固定流水线结果和不同流水线下的结果分布，并利用 Oracle 与固定方案之间的差距来提出一个前瞻性选择器。论文中的 Oracle 是基于事后信息进行选择，并非经过评估、可部署的策略。
适用范围很重要。所有实验都是单变量实验；实证评估使用了选定的 M4 季度、周度、日度和小时数据子集，排除了年度序列。预处理搜索空间刻意设得较小，只包含已有的可逆变换，并未涵盖所有有用的处理方式。最后，由于大多数模型超参数保持固定，所报告的排名并非经过充分优化的排行榜。可迁移的问题是：在不利用测试标签进行事后选择的情况下，训练出的选择器能否根据序列特征选择预处理？本文提供了基准证据和一个元数据集，但没有提供这样的选择器。
如果你在排行榜上比较预测架构，阅读本文可以了解一种具体设计：通过改变预处理而非将其固定，测量模型比较结果会在多大程度上发生变化。