2026.11.05

Unsatz 针对作者指出的方程发现基准局限：这类基准通常会通过指定变量、候选项库或待修改的定律，预先给出待设定的模型形式。相比之下，Unsatz 要求 LLM 智能体自行构建模型形式。每项任务都是一个使用私有种子生成的模拟系统，以小型建模语言中的可执行程序表示；该语言涵盖常微分方程、时滞微分方程和偏微分方程、离散映射、静态模型与因果模型，以及随机过程，并可能包含隐藏状态、失真的传感器和缺乏信息量的测量通道。

智能体在有限预算内进行实验，提交同一语言编写的候选程序，并从基准的拟合器处获得拟合系数。关键的评估变化在于：最终程序只在隐藏实验上评分，其中包括超出已探索范围的条件、干预和更长时间的运行。在 20 个领域的 80 个系统中，九种语言模型解决了 21% 至 60% 的系统。

主要诊断来自一个包含 44 个世界的经典基线子集。真实结构拟合器通过了 30/44 个世界，而 SINDy、语法搜索和 PySR 合计在 76 次适用的方法—世界尝试中通过了 3 次。在这一基准中，结果表明，与已给定模型结构后估计系数相比，发现模型结构可能是更大的障碍。这一比较有其条件：经典方法使用共享的随机设计数据，而智能体自行选择实验；已知结构拟合器也不是上限。因此，该结果支持的是这一评估方案下的瓶颈诊断，而非对结构发现方法进行普遍排名。

对实验记录的分析指出了两种实际失败模式。在提供检测手段的 18 个隐藏状态世界中，智能体在 69 个回合里报告了正确的潜在状态数量，但 162 个回合中只有 19 个解决了相应世界；状态数量答对并未提高解决频率。另一项发现是：在有多次提交的 510 个回合中，有 235 个回合的最终模型预测表现差于较早版本；而在基线回归的 48 个案例中，有 35 个后续模型的训练误差更低。因此，该基准揭示了一个不匹配：依据拟合优度进行修改，与依据隐藏条件下的预测能力进行修改，并不是一回事。

迁移效果也有条件：在六项研究中，凡是首次调查相关世界取得成功的情况下，获得该研究程序的智能体解决了五个相关世界，而新智能体解决了两个；但两种条件都未能解决对照世界。应将这些比例和结构瓶颈诊断视为 Unsatz 所生成的世界、语言及实验方案范围内的证据。实际操作上的启示是，应在外推、干预和更长时间的行为可能推翻模型的条件下检验所提出的模型，而不是只根据训练误差选择修改版本。

RobustAlpacaEval 为每个 TinyAlpacaEval 查询构造十条经人工审阅的释义，并评估原始查询及其释义。EMBERS 改变了测试单元：它针对已观察到的执行缺陷，也可以改写初始问题或中间搜索输入。

作者首先检查了三个深度研究系统的 1,932 条执行轨迹，并对抽样的 384 条错误轨迹进行人工分类，归纳出九类反复出现的缺陷。在分类后的失败中，65.6% 被归因于子问题表述，24.2% 被归因于搜索，10.2% 被归因于最终推理。这些比例仅描述所分析样本中的分布，并非对普遍缺陷率的估计。

EMBERS 使用在三次独立运行中均回答正确的问题作为测试种子。其循环结合了缺陷引导的变异、借助网络搜索进行保真度保障，以及兼顾多样性的种子维护。对于中间步骤的变异，执行会从前序上下文继续；语义答案判定器会将一种潜在的“通过转失败”情况标记出来：即生成的输入相对于原始参考答案得到错误回答。

在匹配的 24 小时预算下，针对 16 种框架—模型—数据集设置，EMBERS 生成了 8,340 个经判定器识别、会诱发失败的输入——分别是 DR-Arena 数量的 3.21 倍和 RobustAlpacaEval 数量的 7.87 倍——并在 16 种设置中的 15 种取得最高数量。在抽样评估中，人工审阅者报告的意图保留率为 93.49%，必要信息保留率为 88.80%，与自动正确性判断的一致率为 88.02%。使用生成数据对 WebSailor-32B 进行微调后，FRAMES 上的 Consistent@3 提高了 5.95 个百分点，FRAMES-ZH 上提高了 9.13 个百分点；但这是基准准确率的结果，并非对输入变化鲁棒性的证据。

可借鉴的复现经验是操作层面的：记录各阶段的输入、输出和恢复状态；将反复出现的缺陷转化为阶段特定的变异；在汇总失败之前，先评估保真度和判定器一致性。标题中的数量仍有适用条件。失败来源标签是观察性而非因果性的；每个生成输入只执行一次；评估涵盖两个开源 ReAct 框架、两个骨干模型、四个数据集，以及初始时回答正确的种子。论文也没有直接对“无法读取网页内容”这一类别或被操纵的网页内容进行变异。

成功干预并恢复系统，并不一定意味着已经诊断出故障。本文在受控的合成调控系统中检验这一区别：智能体必须识别隐藏故障，并挽救由此产生的表型。在中等难度的比较中，所有七个受评 LLM 的挽救成功率都高于诊断成功率；Claude Opus 4.6 挽救了全部 20 个生物体，但诊断准确率为 55%；Sonnet 4.6 也挽救了全部 20 个，但诊断准确率为 35%。

LUCA 此前已报告这一广泛局限：挽救成功率可能高于诊断成功率，而且智能体有时会进行能够消除歧义的实验，却未能在诊断中运用实验结果。相较于此前结果，本文的新增贡献是对失败进行系统拆解。作者枚举了 60 个生物体中的候选故障和可用干预，对可识别性进行分类，并审查实验选择、证据获取及证据运用。大多数生物体在实验上可识别：60 个中有 53 个的致因能够根据现有证据加以区分。智能体选择区分性实验的比例仅略高于随机选择，为 24.1% 对 19.2%。然而，在 43 个存在可判别备选解释的生物体中，智能体在 91% 的已提交会话里至少进行了一项区分性实验，而这些会话中的诊断准确率仅为 0.30。

关键探针在固定实验记录的条件下进行。探针 3 重放相同的诊断前日志，一种情形提供候选读数，另一种则要求模型自行推导读数。提供读数时，准确率为 0.88–1.00；要求模型自行推导这些预测时，准确率为 0.51–0.74。在这一探针中，结果指向的瓶颈是：将相互竞争的因果假设转化为预测结果，而不只是找到关键观察。

对研究者而言，可复用的评估操作是固定实验记录，只改变反事实推理支架，并将诊断与修复分开评分。这可以检验智能体是否能够完成证据所要求的比较，而不只是得到一个成功的终点。应将双向扰动的结果视为有待后续研究检验的假设，而非已证实的干预：对真实致因只进行单方向测试后，诊断准确率为 0.04；测试两个方向后则为 0.71，但这种关联并不能说明该模式为何能预测成功。最后，基准采用虚构的抽象系统，因此作者并未证明同类失败在真实生物学中出现的频率；标题所列的模型结果也都是单次抽样运行。挽救成功率的比较采用附录 A 报告的修正后评分器。

此前的端到端研究已将创意生成和文献检索与实验规划、代码执行、论文撰写及自动评审联系起来。新研究将问题聚焦于：更强的验证是否会改变留出发现的质量。

在预注册方案下，作者在两个领域——作业车间调度（A）和基于北京 T-Drive 轨迹的车载边缘卸载（D）——分别比较 100 组匹配的 LLM/随机方法配对，并设置三个验证器等级。一组包含 429 个案例的变异测试用于检查分数是否随等级提升，从而区分成功操纵门槛与所选发现质量的改善。核心结果是配对的 LLM 相对随机方法的留出集优势幅度。

预注册的预测，即这一优势幅度会随验证器强度单调增加，并未得到支持：报告的单侧 p 值在 A 中为 0.1115，在 D 中为 0.9994。在 D 中，事后对比则发现，与弱等级相比，严格等级使 LLM 相对随机方法的优势幅度降低了 0.040（p=0.0013）；A 中相应的对比为 +0.10，结果不确定（p=0.2229）。这一对比比较的是配对优势幅度，而非被选中的规则本身。

可达性问题使等级比较变得复杂。弱等级和标准等级在 A 的 100/100 组配对以及 D 的 99/100 组配对中选出了完全相同的候选项，因此这些配对无法检验中间等级的差异。这是一条有用的预注册经验：先确认处理组能够作出不同决策，再检验预期的排序。

论文提出的建设性替代方案是扩大提议者池。事后合并池分析估计，A 中留出集价值提高了 +1.52 个单位（单侧 Wilcoxon 检验，n=100，p=0.0002），但这一结果来自已评估的晋级候选项，而非前瞻性地干预池的组成。因此，该结果提出了后续研究方向，并未验证一种可取代更强验证的方案。

证据适用范围相当有限：研究只使用了一个小型提议者模型、两个领域，以及由真实轨迹构造的模拟实例；领域 D 中各等级之间的区分也较弱。开展新研究时，应将筛选区分度与留出价值作为不同结果来测量，预注册可实现的组间差异，并前瞻性地检验提议者池的组成。

具体问题在于，一条看似反映脚手架系统表现的测量路径，实际上并非如此。在 HAL 的公开 Airline 排行榜上，一个通用智能体在涉及其数据库的任务上比一个为航空客户服务基准专门构建的脚手架系统低 13 分；Generalist 智能体只有约一半的回合获得评分，其余回合都被记为失败。因此，本文将这一比较视为对测量工具的审计问题，而非对通用性是否降低准确率的干净检验。

这项审计仅使用已发表的材料，不会重新运行任何智能体。对于 HAL，研究将报告的 token 用量与根跨度用量进行比较，通过将记录的动作与智能体原始工具调用对齐来识别由评分器编写的动作，并依据基准奖励规则重放智能体动作。对于 τ²-bench，研究则在改变评估器代码和任务数据的同时，使用多个评估器版本重新评分公开轨迹。

HAL 的关键结果是：依据基准规则重新评分归档回合后，Generalist 在受影响的 Airline 任务上的合并准确率从 0.30 提高到 0.43，报告中的合并脚手架差距也随之消失。成本审计发现，在略多于一半的已记录运行中，报告的 token 数恰好是根跨度 token 数的两倍；由于重复计算会因运行和客户端路径而异，因此排行榜各行受到的影响可能并不均衡。动作来源对齐发现，在 2,334 条公开航空记录中，68% 含有由评分器写入的标准答案动作；对于标准答案至少包含两个非终止动作的记录，移除这些注入动作后，奖励重放的一致率从 70% 提高到 92%。

τ²-bench 显示，排名变化并非都由同一种原因造成。一次已公布的银行业务评估器修正改变了 17 项提交结果中的 136 组两两排序中的 4 组。另一次未标明的航空评估标准变更，使旧轨迹的重新评分无法与旧版评估器给出的分数相比较，并改变了模型排序。在电信任务中，模式检测失败导致四个文件被重建到错误的环境中，使其分数降低了 59 至 82 分，尽管命令仍然输出了一个数值。

证据仅限于两个公开排行榜，并未估计其他评估流程中这类失误的普遍程度。HAL 的脚手架比较也有条件：它是对归档运行进行的离线重新评分，而且脚手架系统在步骤预算和策略访问权限上仍不相同。一项可迁移的研究操作是在解释分数前先审计测量工具：公布获得评分的比例，以根跨度汇总成本，标注每个已记录动作的来源，并固定评估器版本，同时提供前后重新评分差异。