2026-10-25
2026-10-25
自条件化让额外的流匹配步骤更有助于视觉推理
Self-Conditioning Enables Deep Sequential Reasoning in Flow Matching
流匹配让人容易把每次采样器更新视为一个推理步骤。本文指出了这种直觉可能失效的一个具体原因。对于 VanillaFM，定理 1 证明，在速度有界、满足 Lipschitz 条件、有限精度和接受裕量假设下，K 次顺序 Euler 步骤可以通过 O(L) 轮并行模型评估来模拟，且与 K 无关。因此，当 L 为常数时，增加采样步数并不会扩展骨干模型所对应的电路类别。
Analog Bits 已经使用过自条件化，因此这里的变化并非只是引入这一技术。Analog Bits 报告了扩散生成中的自条件化消融；SelfCondFM 则以先前步骤对最终图像的估计为条件。论文将这个端点估计视为采样器调用之间传递的信息——一种可变的计算状态，而普通采样并未显式地将这种状态传递下去。
在多种视觉推理任务上的受控实验报告称，相较于 VanillaFM，SelfCondFM 准确率更高、推理深度更大，并且性能会随着采样步数增加而提升。在长文本渲染任务中，对 100 个留出实例以 50 NFE 评估时，在匹配训练计算预算下，SelfCondFM 报告的字符错误率为 0.005，VanillaFM 为 0.046。错误率根据从生成图像和参考图像中解析出的文本计算；该任务未进行多随机种子评估。
这是一个有条件的结果；论文并未证明这些假设对训练后的模型普遍成立。对于一个线迹追踪模型，经验 Lipschitz 估计“并非经过认证的上界”，因此不能验证定理所要求的全局正则性前提。经验结果的范围限于图像空间视觉推理：论文并未证明视频、连续扩散语言建模或视觉运动策略学习中也有类似收益。对 EndoCoT 的比较仅供参考，并非直接可比，因为该方法还使用了潜在链式思维引导。
研究操作。 固定骨干模型、数据和训练预算，然后改变 NFE，比较一种只携带当前状态的采样器与一种携带端点预测的采样器。测量最终准确率和已解决的任务难度，并检查所携带的状态是否随步骤变化。问题不只是更多计算是否有帮助，而是每一步是否获得了足够的可变信息，以便进行新的计算。
阅读本文，可以检验迭代生成模型的步数是否能在不改变骨干模型的情况下增加计算能力；论文以端点反馈和 NFE 扩展比较提供了具体的实验模板。
abstract; §3.1, Theorem 1; Appendix D.2, Long text rendering; Appendix D.5.1; §6, Conclusion and Discussion; §4.3, Large-scale comparisons · Section 3.2, Ablation of Self-Conditioning
具有物理形状的水下复原在低数据量下呈现不确定收益，而预测透射率与距离并不对应
Physics-Shaped, Not Physical: Auditing Physics-Guided Underwater Image Restoration
论文将复原模型的性能主张与物理性主张区分开来。它针对该领域的一个具体局限：物理引导网络可以预测透射率和后向散射，并反演成像模型，却很少检验这些物理因素是否真正发挥了作用。这项审查结合了 UIEB 上的五随机种子消融、对完整 LSUI（4,279 对）和 AUIED3K（3,000 对）的零样本评估、缩减数据研究中的容量匹配对照，以及在 Sea-thru 上针对实测距离的验证。对研究者而言，可复用的做法是将输出质量、数据效率和潜变量有效性分别作为独立测试。
使用全部 800 张 UIEB 训练图像时，与普通 U-Net 相比，完整模型在 LSUI 上的 PSNR 变化为 -0.06 dB（95% 区间 [-0.25, +0.12]），在 AUIED3K 上为 -0.01 dB（[-0.72, +0.70]）；两个区间都包含零。物理模块使 FLOPs 增至原来的 3.4 倍。在这一设置下，增加的计算量并未带来可靠的零样本提升。
在 80 张图像（10%）的设置下，该模块相较于无模块版本，在 UIEB 验证集上的提升为 +0.65 dB，在 AUIED3K 上为 +1.48 dB。后者的 95% 随机种子层级区间为 [-0.08, +3.03]；经过 Holm 校正后，只有全数据量下 UIEB 验证集的比较仍显著。在这一数据规模下，容量匹配的通用对照在 AUIED3K 上比完整模型低 +1.03 dB，但经过校正后，六项完整模型与对照的比较均不显著。这是一个值得关注的低数据量信号，而非确凿效应。
物理性是另一个失效点。在来自五个地点的 411 张 Sea-thru 图像中，汇总后的透射率—距离 Spearman 相关系数为 -0.07，而同地点、不同图像的零假设对照为 -0.10；按图像计算的差值为 +0.02，Beer–Lambert 拟合解释了 0.4% 的方差。因此，在这一无监督设计和迁移设置中，预测透射率与实测距离之间并未显示出符合物理透射率量的对应关系。
论文的解释是，观察到的收益来自物理形状的归纳偏置，而非物理本身。由此可得出一项实用审查操作：将多随机种子的全数据量和低数据量比较，与容量匹配、针对实测物理变量的直接验证以及梯度流检查结合起来。实现审查发现，早期在冻结的任务和 VGG 特征提取器外使用 torch.no_grad 包装，导致这些特征损失无法影响训练；因此，在解释损失消融结果前，必须先进行这一检查。
结论应严格限定：评估仅涉及一种架构、一个包含 800 张图像的训练集和一种分辨率。作者指出，这些结论针对的是这一设计和设置，而非普遍适用于物理引导。物理性结果仅适用于这样的迁移：从线性格式、经曝光归一化且采用 sRGB 编码的 Sea-thru 图像，迁移到在显示参考型 UIEB 图像上训练的模型；作者指出，这种域偏移可能降低与距离的相关性。研究报告了 PSNR 和 SSIM，而非下游任务表现。
阅读本文，可以了解如何区分模块在低数据量下的性能信号，与其潜变量确实代表所声称物理量的证据。
自生成更新会扰乱长程测试时训练；独立文本检查可筛选候选状态
局限
继承而来的设置 TTT-E2E 在推理时通过下一词元预测更新选定的 MLP 权重，并通过元训练优化这些更新后的表现。新的局限是长程自我污染：保留由生成文本产生的更新，会改变生成下一个训练块的模型。在 128K 词元的流上，对于 125M、760M 和 3B 的 TTT-E2E 配置，保留生成文本更新会使模型在独立的人类书写文本上的预测变差。论文还指出，同样的更新机制在真实文本上可能带来提升，因此这一失败并非归因于写入本身。
匹配分解
三组匹配比较揭示了其中的环节。固定生成使用冻结的生成器，在 125M 和 760M 配置下消除了超过 98% 的损害。记录回放固定已保存的词元，将读取退化文本造成的损失与在其上写入所额外存储的损失区分开来。一组配对的单次更新比较采用相同的更新前状态和源文本块：保留更新后，模型对源文本的预测更好，但对下一段独立真实文本的预测更差。在闭环历史之后，其下一篇文本的平均代价为 .0381 nats；写入关闭后为 .0045；固定生成历史之后为 .0018。
提交规则
Settlement 改变的是提交规则，而非更新目标。它会在独立真实文本上测试临时候选状态与当前已接受状态，只有当验证 NLL 没有增加时才提交。在生成流测试中，端点差距在 125M 时为 .07 nats，在 760M 时为 -.02；一个全真实文本流报告称，113 个提案中有 89 个被接受，相较于全部拒绝，首尾收益为 .0534 nats。这些数字表明该选择准则经过了测试，但并不能证明它等同于或优于禁用写入：残余区间包含零，而且两种语言模型规模使用了不同的测试集。
研究操作
保留因果区分：从同一状态比较源文本拟合与向独立文本的迁移，记录损害是否集中在少数轨迹中，然后在提交候选状态前进行验证。关键问题在于，系统运行时验证流是否仍然独立，以及为避免持久性错误，付出多少验证成本才合理。这里的主要结果指标是独立文本上的 NLL，而非记住生成文本；按照论文的方案，同一本书中的篇章仍可视为独立。3B 筛查会剔除异常低损失的书籍，但无法排除污染，因此关于规模扩展的结论仍不确定。
阅读本文，可以了解匹配的固定生成、记录回放和配对更新设计，以及一种具体的候选状态验证规则，用于诊断自适应系统是否正在污染自身未来的证据。
abstract · Abstract; Sections 2.1 and 2.3; Section 2.3.1
TRACER 通过跨提示注入渠道训练，降低 GSM8K 上以 RAG 格式呈现的攻击成功率
TRACER: Trace-Regularized Training Against Indirect Prompt Injection
先前纳入比较的评估研究指出，评估提示注入防御时，应同时考察实用性和防御效果，而不能只看抵御攻击的能力。相对胜率也可能掩盖较低的绝对能力。TRACER 增加了一个渠道变量：在其受控评估中，同一攻击内容作为检索上下文呈现时，比作为后续消息呈现时更容易成功。报告的平均成功率分别为：后续消息 18%，检索上下文 53%。
TRACER 通过在训练期间采样呈现包装，将其纳入对抗训练。其目标函数结合了以答案为锚点、由证据门控的奖励，以及 ATRC；后者在注入无效时，使受攻击的推理与干净证据保持一致。该方法还仅在干净答案正确且注入证据无效时，才启用轨迹正则化信号，因此它并非旨在保留错误的干净回答，也并非要压制基于有效证据的纠正。
在使用 Qwen2.5-3B-Instruct 的 GSM8K 上，以 RAG 格式训练的 TRACER 将条件 ASR 从基础模型的 65.5% 降至 6.1%，而报告的干净准确率保持在 78–82% 区间。一项目标函数消融报告称，仅使用答案训练时 ASR 为 21.3%，加入复合奖励后为 13.8%，使用 ATRC 后为 6.1%；这表明这两项新增机制相较于仅用答案训练均与性能提升相关，但不能据此确定相同的组件贡献会推广到其他任务或模型。迁移效果并不一致：在 3B 评估中，联合 RAG+工具训练的跨呈现平均结果最佳，而单渠道训练在原生渠道与迁移渠道上呈现出不同表现。对于 7B，报告的最佳跨呈现平均值出现在经过一个 RAG 训练轮次后，为 9.4%；后续训练并未改善这一平均值。
适用边界很重要。主要攻击基于模板，而报告的训练缓解方法是在 Qwen2.5 的 3B 和 7B 规模内评估的；跨架构训练尚未测试。作者将 TRACER 定位为运行时防护的补充，而非过滤、验证、监控、沙箱或最小权限访问的替代品。因此，值得借鉴的实际实验很简单：固定恶意载荷，改变其包装；同时报告条件 ASR 和干净准确率；并在留出的释义样例和能识别防御机制的攻击下，比较专门训练与联合训练。TRACER 提供的是一种训练干预手段和一个可供测试的渠道维度，而非独立的安全边界。
阅读本文，可以把包装变化转化为明确的提示注入实验：论文提供了同一载荷的比较、一种可实现的轨迹正则化目标、组件消融和跨渠道迁移结果，同时也明确将证据限定于模板系列攻击和 Qwen2.5 训练。
abstract; Section 1, paragraph 3; Section 5, “The framing gap is large and consistent”; Appendix A.3, Table 5; Section 5, “TRACER closes the native RAG vulnerability”; Appendix A.3, Table 5; Section 5, “Stress tests, mixed evidence, and component attribution,” Table 1(b); Appendix A.2, paragraph 2; Section 5, “Cross-framing transfer reveals a depth–breadth trade-off”; Appendix D, Table 8; Section 5, “Ablations, scaling, and broader transfer strengthen the story”; Appendix D, Table 8; Appendix F, Table 12; Limitations, paragraph 1; Ethical Considerations, paragraph 2 · Section 4, paragraph 1; Section 4.1.1, paragraph 2
STRATA 将测试时智能体记忆构建为可维护图，并提供类型化检索与冲突警示
STRATA: Self-Maintaining Structured Experience Graphs for Self-Evolving Language Agents
有何变化
论文针对其所指出的早期记忆设计中的两种失效模式：随着任务集增大，单层记忆可能急剧退化；而具体记忆则可能在表面相似的经历指向相反方向时导致负迁移。AWM 从成功轨迹中存储抽象、可复用的子程序。ReasoningBank 从经评判的成功与失败中提炼策略或预防性经验。STRATA 则将这些要素整合为三层图，分别包含原子技能/代码、任务工作流和通用元框架，并由带类型的边连接。
其相似性几何结合了内容/适用性嵌入、操作与目标标签，以及词汇重叠。检索返回经过置信度筛选的子图：先呈现通用原则，再呈现工作流和可调用技能，并在相关时加入对比邻居。每轮交互之后，系统从成功中写入操作规程，从失败中写入陷阱；通过聚类工作流归纳元框架；在资源紧张时删除低质量工作流，同时保护关节点；并用警示边连接方向相反的经历。
证据
在 AppWorld、WebArena、ALFWorld 和 ScienceWorld 上，使用两个冻结的 DeepSeek-V4 骨干模型、七种记忆基线和三个随机种子，STRATA 的报告平均表现最强，并在多数单项基准指标列中领先；部分成对差距仍处于种子间变异范围内。在 DeepSeek-V4-Pro 上，它是速度最快的记忆增强方法，并且在测得的记忆方法中，输出词元数和环境步数最少：每个任务 58.7 秒、5,217 个输出词元和 11.7 个环境步数。
组件消融表明，每种受测机制都有贡献；移除操作/目标标签造成的损失最大，平均下降 13.1 个点，但由于各组件共享相似性几何，这并未单独隔离出检索的作用。系统内部的负迁移诊断是直接的：移除对比边后，ScienceWorld 从 96.7 降至 78.7，ALFWorld 从 98.6 降至 89.5。关闭收集功能后，存储库增长到 269 个工作流，每个任务注入 48.7 行，同时得分为 70.7，而完整 STRATA 为 72.9；单独进行的匹配规模结果则显示，保护关节点更有利。
边界与研究操作
证据仅限于来自同一模型家族的两个冻结骨干模型。对比边使用的是给定的对立词表，而非自行发现对立关系。由于只有 23 个任务，主表中的 ScienceWorld 比较在统计上无法与最佳基线区分。作者还报告了一个原因不明的 ALFWorld clean_and_place 任务劣势。关于单层记忆会随着任务集增大而退化的说法只是提示性结论，并非受控的扩展性测试，因为比较中其他因素也发生了变化。
一项有价值的后续实验是固定任务难度、记忆规模和随机种子，比较扁平检索、图检索和图加对比检索，并在留出的操作对立关系及更多模型家族上测试警示功能。研究问题在于：当对立信号并非预先给定时，结构化标签和警示是否仍然有用。
阅读本文，可以了解如何在评估类型化操作/目标匹配、遗忘和对比警示的同时，考察延迟和环境步数成本。
abstract · Section 2.3, LM-based Workflow Induction · §3.2; Appendix A.1–A.2