ANNEAL：通过受控符号补丁学习调整 LLM 代理

arXiv:2605.16309v1 公告类型：新 摘要：基于 LLM 的代理可以从单个执行错误中恢复，但当底层流程知识（操作符模式、先决条件和约束）仍未修复时，它们会在同一故障上反复失败。现有的自我进化方法通过更新提示、内存或模型权重来解决这一差距，但没有一个方法可以直接修复编码任务执行方式的符号结构，也很少提供安全部署所需的治理保证。我们引入了 ANNEAL，这是一种神经符号代理，可以将重复出现的故障转换为过程知识图的受控符号编辑，而无需修改基础模型权重。其核心机制是故障驱动知识获取（FDKA），定位负责的操作员，通过受约束的 LLM 生成合成类型化补丁，并在提交前通过多维评分、符号护栏和金丝雀测试来验证提案。每个接受的编辑都具有完整的出处和确定性回滚功能。在四个领域和 27 次多种子运行中，ANNEAL 是唯一一个进行持久结构修复的评估系统——ReAct 和 Reflexion 等强大的基线实现了较高的偶发性恢复，但在重复出现的故障上保留了 72-100% 的保留故障率，而 ANNEAL 在测试的重复故障设置中将这些故障率降低到 0%。消融证实，去除 FDKA 会消除所有结构修复，并使成功率下降高达 26.7 个百分点。这些结果表明，受控符号修复为权重级别和提示级别适应提供了补充范例，以消除持久性故障。