Agent一直在行动，任务为何没有进展？PoS识别并打破信念陷阱

任务很简单：把一个加热后的杯子放进柜子。一个智能体先把杯子放进微波炉，再放进柜子，随后陷入反复查看柜子的循环。这个无效行为重复了 36 次，直到耗尽行动预算，任务仍然没有完成。 漏掉的是加热这一步。这是论文在 ALFWorld 仿真任务中展示的一个真实案例：使用完整交互历史的 Raw Trajectory 基线用完 50 步仍然失败，而 PoS 在 17 步内完成了同一任务。 动 作一直在发 生，关键要求却始终没有被满足 。 图 1 加热杯子任务中的两条执行路径。原始轨迹基线漏掉加热环节后持续查看柜子；PoS 显式保留尚未完成的加热要求，并在停滞时引导恢复。 智能体仍在调用工具、接收观察、生成下一步计划，看起来始终在工作，但 “把杯子加热” 这一关键要求始终没有得到推进。类似的困境也出现在其他交互任务中：GUI Agent 反复点击，界面却停留在原处；Coding Agent 一遍遍读取相同文件，迟迟没有进入有效的修改与验证。操作记录不断增加，尚未解决的问题却依然存在。这些场景共同提出了一个问题：系统能否在预算耗尽之前，判断当前行动是否仍在推进关键要求，并在进展停滞时调整行动方向？ 南开大学联合阿里云等机构的研究团队，将这一问题明确为 Belief Trapping（信念受困）：智能体持续与环境交互，但与目标相关的信念演化已无法带来有意义的任务进展 。 它既可能表现为原地重复，也可能是在几个状态间循环，或不断探索却没有触及真正未解决的问题。 为此，研究团队提出 PoS（Progression of States）。它持续维护显式信念状态，记录当前世界与未解决要求。在此基础上， 用 Belief Health 衡量任务进展，在检测到受困后，依据受困模式与缺口类型实施 Trapping-Aware Recovery 。 从识别 “已经卡住” 到决定 “怎样恢复进展”，构成了 PoS 的核心闭环。 在四个基准、三个基础模型组成的 12 组实验设置中，PoS 的整体指标均高于论文纳入比较的其他方法。这个结果背后的问题也很具体：怎样把 “Agent 忙了很久，却没做成事” 转化为可计算、可诊断、可干预的过程？ 论文标题：Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States 研究机构：南开大学、阿里云、清华大学 论文地址：https://arxiv.org/abs/2610.01415 项目主页：https://luoyu100.github.io/projects/progression-of-states/project/ 开源代码：https://github.com/luoyu100/PoS 历史越来越长 当前状态却未必越来越清楚 长程任务中的信息会过时。杯子刚才在微波炉里，现在可能已经被拿走、一次工具调用表达了要做什么，返回的观察才能说明实际发生了什么、前几轮看似合理的判断，也可能被新证据推翻。 完整轨迹保留了事情发生的顺序，记忆和压缩机制则帮助筛选、整理这些记录。它们提供了重要的证据基础。但每次选动作时，智能体仍需要把分散的信息重新拼成对当前任务的理解，确定哪些结论继续成立，哪些已经失效。 PoS 把这一步显式化。这里的 “信念” 指智能体基于已有证据形成的当前理解，其中既有直接观察，也有仍待检验的推断。它可以被更新、被检查，也可能出错。 要判断任务有没有推进，首先要有一份能够跨时间比较的当前状态。 把当前世界和剩余要求放进同一份状态 第一步是明确 “现在是什么情况”。PoS 用实体、状态和关系组织与任务相关的世界：杯子、微波炉和柜子是实体，杯子是否热、微波炉是否关闭是状态，杯子位于哪里、由谁拿着，则通过关系表达。状态和关系还保留来源、置信度，以及可用的支持证据，方便后续核对。 这份表示只保留会影响行动、结果判断和目标完成的信息。例如，加热杯子的任务需要记住温度与位置，单纯记录 “曾经操作过微波炉” 并不够。 第二步是明确 “还差什么”。PoS 把未解决的要求分成两类： 信息缺口（Epistemic Gap）是还需要弄清楚的事，达成缺口（Achievement Gap）是还需要通过行动改变的事。 如果没有证据确认杯子是否变热，就需要补充信息，如果已经知道杯子未加热，就需要真正完成加热。 这一划分也适用于诊断。排查服务故障时，“数据库等待还是 JVM 内部处理造成延迟” 是一个信息缺口。下一步应当寻找能区分两种解释的证据，而不是继续收集与判断无关的日志。 面对多个未解决要求，PoS 会选定一个当前优先处理的 Active Gap。智能体仍然可以看到完整的任务状态，但行动有了明确焦点，这个缺口解决后，再推进到后续要求。 图 2 PoS 的整体流程。左侧构建当前世界和未解决要求，中间围绕 Active Gap 选择动作，底部的 Belief Sentinel 检查更新并记录进展，右侧在受困时生成临时恢复约束。 写下来的状态 也要经得起证据检查 显式记录状态之后，还需要解决一个问题：这份状态本身也是模型生成的。如果它把错误判断写进去，后续决策就可能持续沿着错误的前提展开。 因此，一次行动返回新观察后，PoS 先生成候选更新，再交给 Belief Sentinel 检查。它主要核对两件事：内部是否自洽，以及更新是否得到交互证据支持。比如，同一个微波炉不能同时被记为打开和关闭，只看到杯子被放入微波炉，也不足以把 “已经加热” 写成确定事实。 发现问题后，智能体结合证据修正更新，经过校验的状态才进入后续决策。公开实现中，如果修复后仍未通过检查，就保留此前已提交的状态。这也为受困检测提供了前提： 先核对状态变化是否可信，再判断这些变化是否构成进展。 不过，内部自洽、与观察相容，并不意味着任务一定在前进。智能体完全可能准确记住 “杯子还没热”，然后继续查看柜子。识别 Belief Trapping，需要把视线从某一次正确记录，移到一段时间内的信念变化。 Belief Trapping 如何成为一个可计算的问题 不能仅凭动作重复，就认定智能体已经受困。相同工具的多次调用可能在收集不同证据，反过来，每一步都换工具，也可能一直绕开关键问题。PoS 因此关注的是： 未解决要求持续存在时，经过校验的信念是否仍在发生有助于任务的变化 。 它先为每次状态转移标记进展，再在最近 K 次经过校验的转移上观察三个信号。执行任务的单步进展，包括缩小当前缺口、获得必要信息，或推进一条合理的完成路径。诊断任务则看相关推断的置信度是否发生超过阈值的变化。置信度降低也可能代表排除了错误解释，因此同样计入变化。 基于这三个互补信号，PoS 构建了一个可解释的启发式指标 ——Belief Health（信念健康度）： 这里，E、A 分别表示信息缺口与达成缺口，健康度越低，受困信号越强。组合遵循的原则是：持续未解决的要求，与进展停滞或信念重复共同出现时，形成较强的受困信号。 内层 max 保留停滞与重复中较强的异常，避免一种明显迹象被另一种较弱迹象稀释；乘以缺口持续度，将异常与长期未解决的要求关联起来；外层 max 则关注两类缺口中受阻更明显的一类