2026-11-10
2026-11-10
低预算分子优化得分可能高度依赖可检索的任务信息
What Are LLM Agents Actually Learning on Low-Budget Molecular Optimization Benchmarks?
本文的核心干预是一项受控的信息消融：在 PMO 上，作者在 50 次 oracle 调用的预算下，改变对任务名称／描述和精选参考化合物的访问权限，加入仅提供 oracle 形式的条件，并将智能体与确定性的纯检索策略进行比较。另有一项独立的 ProteinLeadOpt-50 实验，在 AutoDock Vina 复合 oracle 下测试固定的单次编辑随机游走。
在标准信息条件下，GPT-4o mini 在 23 项 PMO 任务上取得 14.44 的 top-1 AUC 总和；隐藏任务名称和精选参考化合物后，该值降至 4.85，而身份盲化的 oracle 形式条件得分为 5.39。在析因消融中，任务名称不可见时，参考化合物带来 9.13 的 AUC 增益；参考化合物不可见时，任务名称带来 1.22 的增益。不使用 LLM 的纯检索策略达到 12.16，相当于完整智能体 14.44 的 84%；其做法是提交公开的参考化合物，并生成单原子 RDKit 变体。在三随机种子、八任务子集上，标准信息条件在全部八项任务上均优于完全盲化（单侧 p=.0039）。
在 ProteinLeadOpt-50 上，对 50 个靶标—起始分子组合进行三组随机游走种子测试，复合得分为 0.636 ± 0.008，对接改善为 −1.11 ± 0.04 kcal/mol；这为该测试设置提供了一个具体的、与 oracle 匹配的基线。然而，论文的正对照不支持过于宽泛的结论：在严格盲化条件下，一个不使用检索的群体智能体达到 7.39，高于 REINVENT 的 7.06；两者匹配的预算为 50 次调用，以 AUC 总和计。因此，有用的研究做法是在评价智能体的优化行为之前，先将信息访问与由反馈驱动的搜索区分开来。
应当将结果限定在其适用范围内。覆盖全部 23 项任务的析因实验中，每种条件只运行一次；只有 C1–C4 比较有三个随机种子，且覆盖八项任务。因果消融仅涉及一个 gpt-4o-mini 智能体和一种实验方案。随机游走结果仅适用于所测试的 Vina 复合评分、起始分子集、编辑集和预算；论文的敏感性分析显示，所选取代基集合会实质性影响基线。实用的审计方法是运行 2×2 访问权限消融，公布纯检索得分，并测试一个与 oracle 匹配的随机游走基线，同时报告随机种子和编辑选择。
本文为低预算分子优化主张提供了一套可复用的审计方法：隐藏任务和参考化合物的身份，测量不使用 LLM 的纯检索基线，并测试与 oracle 匹配的局部搜索基线；同时不暗示无检索智能体毫无价值。
PINNeval 在有竞争力的周边流水线中评估 PINN 组件
PINNeval: A Comprehensive Evaluation Standard for Physics-Informed Neural Networks
PINNeval 针对一种具体的比较失效情形：许多现有 PINN 基准孤立地研究某个流水线组件，同时让其他组件停留在最低限度的默认设置。论文指出，在这类设置中得出的结论可能无法迁移到有竞争力的流水线中。
该框架将 PINN 训练流水线拆分为领域重要性自适应、损失平衡、神经网络架构和优化方案四个部分。比较某个组件时，实验方案要求其他三个部分采用有竞争力的实现；作者还应报告指标、成本、精度、鲁棒性、可复现性信息和结构化设置文档。PINNpipe 提供了一个 JAX 实现，其中包含 18 种文献方法和九个基准问题。
案例研究说明了这一要求为何重要。在九个基准问题的领域重要性研究中，均匀重采样（Random-R）在七个基准问题上取得最低中位误差；LAS 在 Wave 和 Heat 上优于它，因此该研究没有证明自适应采样具有普遍优势。在损失平衡研究中，GradNorm 在九个基准问题中的五个上领先，但固定权重在三个上领先，SoftAdapt 则在一个上领先。因此，在所报告的周边设置下，这两个组件都没有普适的赢家。
架构排名也取决于问题和模型规模：PirateNet 仅在 24 种基准问题—规模组合中的 3 种上胜出，运行时间约为 MLP 的 1.8–2 倍，而不是始终提高精度。在优化器比较中，报告的提升归因于加入 SSBroyden2，而非将 float64 视为独立改进；尽管该阶段需要使用 float64。
可迁移的做法是：围绕单个目标组件设计消融，让其他三个组件保持有竞争力且设置明确，并将误差与成本、精度、鲁棒性及配置细节一同报告。应将结果视为取决于参考流水线的条件性结论，而不是脱离上下文的组件排名。
适用边界很重要。实证研究仅涉及正向 PINN；其测试套件具有代表性，是针对重新审视过的研究所选取的，并不涵盖所有 PDE 设置，也排除了复杂几何和其他有挑战性的问题类别。随着有竞争力的实践不断变化，参考实现也必须更新。最后，SSBroyden2 的结果并未证明大型网络可行：该实现存储稠密逆 Hessian 近似，内存成本随规模呈二次增长。
用本文的方法将下一次 PINN 消融设计为条件性比较：选定一个目标组件，增强其他三个组件，并记录复现结果所需的成本与配置。
在所测 vLLM 过载运行中，仅靠取消未能恢复服务
Cancellation Is Not Enough: What Retries Leave Behind in an Overloaded LLM Engine
测量方式的变化
本文考察：当客户端重试超时的 LLM 调用时，仅传播取消信号是否足够。作者的方法是跟踪每次客户端尝试所触发的引擎执行，而不是把客户端调用视为唯一工作单位。研究在三个开放模型上测试 vLLM 过载情形，并为其中一个模型加入调度器跟踪；评估同时考察服务恢复情况和实际送达客户端的调用。这样可以看到客户端级请求指标可能遗漏的内部工作。
跟踪结果
启用重试后，在所有报告的运行中，仅靠取消都未能恢复服务；过载开始后到达的调用中，只有 12–38% 最终送达。跟踪显示，vLLM 实际运行的重试通常在其自身超时前不到半秒开始预填充。作者认为，这一时序与队列补充循环相符：重试可能在放弃前不久成为新的引擎工作，因此取消一次尝试本身并不能阻止后续重试继续增加工作量。
后来中止的执行已经消耗了计算所得提示词 token 的 79–85%。这并不意味着取消未能中止这些执行：已经发出的调度步骤仍可能完成。另一个问题是，vLLM 的提示词 token 计数器漏记了所有已计算提示词 token 的三分之一到一半，因为在首次输出 token 前就中止的执行所产生的工作没有计入该计数器。
对照比较与研究启示
不同对照方案带来了不同的客户端结果。重试预算通过舍弃重试恢复了服务，但许多过载调用仍未送达。请求合并则使过载开始后的每个调用都得到送达，其中有些较晚送达；但如果取消已中止正在运行的执行，则不在此列。对研究者而言，可迁移的做法是为从尝试到执行再到送达结果的路径加上监测，然后从服务恢复和客户端可见的送达情况两方面比较过载控制，而不是只看取消延迟或单一引擎计数器。
证据范围有限：研究使用一个 vLLM 版本、单一 GPU 类型、合成的单轮提示词、模拟的开放环客户端，以及一种截止期限和重试策略。对延迟取消结果也应作狭义解读：在这些运行中，代理没有取消任何执行，因此延迟取消起到的是不取消的请求合并作用。这些条件并未检验其他服务栈、部署、工作负载和客户端策略下的表现。
阅读本文，了解如何追踪一次重试所触发的引擎执行，并同时依据服务恢复情况和实际送达的调用来评估过载控制。
ADB 通过配对合规路径与未授权路径，使授权越界变得可测量
Authorization Drift in LLM Agents: Evaluating Boundary Compliance in Multi-Step Tool Use
研究变化
AgentDAM 衡量网页智能体执行任务时对指定敏感事实的不必要披露；ADB 则衡量可执行任务中，在数据、工具、范围和时间边界上经标注的授权违规。ADB 通过将可行的合规路径与有用但不必要的未授权替代路径配对，使越权行为变得可测量。ADB 包含 648 个样本，覆盖七个领域，并测试四类边界维度：数据、工具、范围和时间。
SERS 根据实际智能体行为验证可执行环境、合规路径的可达性以及捷径的可触发性，而不只依赖 LLM 自我批评。在 SERS 中，自动化门槛只有在至少一次探测 rollout 覆盖经标注的必需调用，且八次 rollout 中至少有两次触发了预设偏离点时，才会接收一个样本。值得沿用的方法变化在于操作层面：让每项任务都包含一条可行的授权路径和一条有用的未授权捷径，然后剔除未通过任一 rollout 检查的项目。
研究发现
在常规的裸工具调用评估中，Qwen 模型和 Claude Sonnet 4.6 达到 TSR ≥0.90，DR ≈0.43–0.61。在分析的 644 项任务中，有 555 项（86.18%）至少存在一条完全成功的轨迹。数据过度收集是测得最常见的偏离维度，因此值得关注早期的信息收集决策。在所评估的脚手架配置中，偏离程度降低时，合规任务能力往往也会崩塌，因此只看偏离程度会让表面上的改善产生误导。
适用边界
因此，ADB 是一种以机会为条件的压力测试，并非对普通部署中偏离发生率的估计。偏离检测通过将工具名称和参数子集与预定义标注匹配来实现；未预料到的未授权路径可能被漏掉，从而可能低估偏离程度。一项独立审计在 20 个样本中发现 6 个存在可行性或成功标准问题；该审计仅由一名标注员对小样本开展，因此对基准质量的验证有限。
设计新的工具使用评估时，应借鉴成对路径的结构，而不是把任务成功当作授权合规的充分证据。将偏离和干净完成作为两个独立维度报告，然后检验缓解措施能否在不压制授权路径的情况下减少越界。具体问题是：当合规路径仍然可行时，干预是否改变了智能体的选择，还是只是让任务更难完成？
阅读本文，了解一种具体的工具使用授权测试方法：验证可实现的合规路径和有吸引力的未授权捷径，并结合干净的任务完成情况来解读偏离。
Section 1, paragraph 2; Section 3.2, Stage 3 – Execution-reflective quality control; Section 4.2, paragraph 1; Table 1; Appendix E.5.2, paragraph 2; Tables 16–17; Section 5.2, paragraph 1; Table 1; Section 5.3, paragraph 1; Appendix E.8, Table 22; Section 7, Limitations; Appendix C.4, Table 9 and accompanying paragraph · Section 3.2, Task Design and Data Generation (S3.SS2.p1)
随机检查点将局部审计效应与智能体策略价值区分开来
Knowing When to Intervene: Causal Evaluation of AI Agents
研究变化
静态基准可以报告智能体是否成功，但其静态性质无法揭示部署时审计干预的价值。动态处理效应研究已经提供递归 SNMM g 估计和离策略价值估计器；本文将相关因果方法用于智能体轨迹，考察干预在何时会改变终局结果。因此，研究的是被分配的干预，而不只是干预是否与成功的最终轨迹相关。
方法
在每个预先指定的合格节点，作者根据观察到的干预分配前历史，随机分配干预或对照，然后让智能体继续运行；在这些实验中，分配概率为二分之一。由于同一条轨迹中会反复进行分配，同一套数据收集设计既可估计按历史定义的群体效应，也可评估依赖历史的策略。该框架区分三个目标：未来分配仍随机时的当前决策效应；后续不再实施干预时的当前决策效应；以及选择性历史依赖策略相对于从不干预所带来的增益。随机延续目标使用具有已知倾向概率的交叉拟合 AIPW；其他目标使用结构嵌套均值模型和 g 估计。识别仍要求一致性、序贯可交换性、正值性和无干扰；基于 SNMM 的目标还依赖 blip 效应模型的正确设定。
证据与适用边界
在 tau-bench Retail、ToolSandbox 和 ImpossibleBench 上，作者报告干预效应会随智能体动作和状态而显著变化。在 ToolSandbox 中，审查一个“datetime info to timestamp”工具的估计效应为 +6.9 个百分点 [1.2, 12.6]，而更广泛的 Time and calculations 能力估计效应为 +1.8 个百分点 [-0.2, 3.8]，说明汇总的能力得分可能掩盖值得审计的候选目标。在 ImpossibleBench 的一个子集中，最后一个合格检查点上的对抗性反馈使检测到的违规增加 9.4 个百分点 [2.9, 15.9]；首次失败尝试后则增加 3.3 个百分点 [0.6, 6.1]。这些估计可用于确定优先级，但不能证明某种干预策略会改善部署结果。
主要的统计边界在于，只有当半参数模型设定正确时，SNMM 置信区间才具有有效覆盖率；模型设定错误时，拟合系数可能只是加权投影。报告的区间是逐点区间，未对多重比较作调整。实证证据来自相对较小的模型和可能已被前沿系统饱和的成熟基准，而历史表示是人工设计的。
在部署研究中，可在已记录的检查点随机安排审计，保留干预分配前的历史，并同时报告局部效应和完整选择性策略的价值。可迁移的问题是：对哪些历史而言，现在实施干预会改善终局结果？选择这些历史进行干预，是否优于从不干预？
阅读本文，了解如何把部署时的审计选择转化为可估计的因果问题，同时将即时干预效应与历史依赖干预策略的价值区分开来。