EMNLP 2026 Main｜浙大&北大团队提出SPADER：用step-wise GRPO与多样性感知奖励驱动多答案问答长尾探索

论文标题：SPADER：Step-wise Peer Advantage with Diversity-Aware Exploration Rewards for Multi-Answer Question Answering 录用信息：EMNLP 2026 Main Conference 论文链接：https://arxiv.org/abs/2606.00593 代码开源：https://github.com/KhanCold/spader 模型开源：https://huggingface.co/KhanCold/qwen3-8b-spader 一句话概括 ：多答案问答要求智能体找全整个答案集合，而不是只搜到一个就停止。现有 RL 方法在此场景下存在两处错位：优势计算停留在轨迹级，信用分配粗糙；F1 奖励对头部与长尾实体一视同仁，智能体缺乏探索长尾的动力。SPADER 将 GRPO 的轨迹级优势细化到步骤级，并用双向奖励机制激励长尾发现，在四个基准、两种基座模型上全面提升了召回与 F1。 问题：多答案问答，找全比找到一个更难 大语言模型正在从「问一句、答一句」走向「边搜边答」：智能体迭代地发出搜索查询、阅读检索证据、判断何时收手并给出最终答案。但现有这类工作大多只关注「只有一个正确答案」的任务。真实世界中的大量信息需求是覆盖导向的，即要求系统找全一个完整的有效答案集合，这就是多答案问答（Multi-Answer QA）。 以一个真实问题为例：「列出 2021 年有成功轨道发射的全球发射场。」它的正确答案是一组实体，而且分布很不均匀：Kennedy、Vandenberg、Jiuquan 这类高频「头部」实体一搜就有，而 PSCA、Spaceport 等长尾答案藏在知识空间的偏僻角落，需要持续多轮挖掘。 图 1：同一问题下普通智能体（上）与 SPADER 智能体（下）的搜索轨迹对比。普通智能体重复检索头部实体后提前作答；SPADER 从观察中捕捉线索、持续改写查询向长尾扩展，答案覆盖显著更全。 上方是普通智能体：第一步搜「2021 年全球轨道发射汇总」，拿到 Kennedy、Vandenberg、Jiuquan 三个头部实体；第二步换了个说法「著名的卫星发射中心」再搜一遍，返回的还是这三个实体，没有任何新发现；于是第三步就直接作答，答案停留在头部。 下方是 SPADER 训练出的智能体：第一步搜索相同，但从观察中捕捉到「商业发射」这条未被覆盖的线索，第二步主动改查「2021 年的商业发射」，新挖出 PSCA、Spaceport；随后沿「低纬度发射场」「海上发射」等线索继续改写查询、挖掘长尾（第 3–5 步），直到第 6 步才作答，答案集明显更全。 要实现这种持续探索，智能体必须学会做多步决策：何时改写查询、采纳哪些证据、何时终止作答。这类决策很难靠提示工程「教」出来，于是近期工作越来越多地把工具增强问答建模为策略学习问题，用强化学习来优化。但在多答案问答场景下，现有 RL 方法仍然卡在两处。 用 RL 训练时，两个问题浮出水面 问题一：长程搜索轨迹上，信用分配困难重重 长程搜索轨迹让信用分配（credit assignment）变得困难：智能体在连续几十步中交织执行有效、冗余和无关的搜索，要识别出哪一步真正扩大了答案覆盖，并不容易。现有几类方法各有短板： PPO（actor-critic） ：依赖价值网络估计每一步的长期回报，而价值估计误差会在长程上不断累积，信用分配不可靠，训练昂贵且不稳定。 GRPO（critic-free） ：去掉了 critic，稳定性有所改善，但 Advantage 仍停留在轨迹级：整条轨迹赢了，无法说明中间到底是哪一步搜得好。 R3-RAG、StepSearch 等中间步骤奖励方法 ：类似 PRM 的思路给中间步骤打分，但依赖外部评估器或过程标注，且仍基于 GRPO 的轨迹级 Advantage 做优化，本质上没有提供步骤级的信用信号。 GiGPO、SALT 等状态匹配路 线 ：通过严格的状态匹配实现步骤级信用分配，但多答案问答中搜索观测天然噪声大、差异大，「精确状态匹配」这个前提本身就很难成立。 问题二：常用奖励形式与「答案覆盖」目标错位 以 F1 为基础的奖励对每一个实体一视同仁，对检索困难的「长尾答案」没有任何额外激励；且搜索过程中没有任何信号告诉智能体「该继续搜还是该收手」。结果就是：智能体只满足于容易检索的高频头部实体，找到几个显眼答案就提前终止。 方法：SPADER 针对这两处错位，作者提出 SPADER（Step-wise Peer Advantage with Diversity-Aware Exploration Rewards），一个面向多答案问答长程工具使用的强化学习框架。它包含两个互补的组件：用于细粒度信用分配的逐步同伴优势（SPA），和防止过早收敛到头部实体的多样性感知探索奖励。 图 2：SPADER 框架总览。采样并行轨迹后，框架用多样性感知探索奖励评估每一步 Search 与 Answer 动作；随后 SPA 按决策步对齐轨迹，计算未来回报与步骤级优势，通过 step-wise GRPO 共同优化策略。 组件一：SPA（Step-wise Peer Advantage），按决策步对齐、用同伴回报做基线 SPADER 构建在 GRPO 的分组机制之上：对同一提示词并行采样 G 条轨迹，组内互相比较得出相对优势。GRPO 只提供轨迹级的 Advantage，SPA 则把优势估计从轨迹级细化到步骤级，具体分四步。 1、 决策步对齐 。搜索过程建模为 MDP：智能体在状态 St 下发出动作 at∈{Search, Answer}。在第 t 个决策步上，组内采样得到的轨迹集合构成了以同一提示词、同一交互轮次为条件的基线，且无需假设轨迹间的语义或状态等价。对提前终止的轨迹，补齐到组内最大长度 Lmax、以未来回报 0 参与组基线，并用有效性掩码 Mt 屏蔽终止后的梯度（t≤Li 取 1，否则取 0）。 2、 未来回报 。用蒙特卡洛法估计轨迹 i 在决策步 t 的未来累积折扣回报： 从 第 步 累 加 到 该 轨 迹 的 实 际 终 止 步 。 3、 组基线与步骤级优势 。以同一决策步上全组 Gt 的均值 μt 和标准差 σt 为基线，得到步骤级相对优势： 。 其中 μt 是同一提示词、同一决策步 t 下由蒙特卡洛采样得到的未来期望，跑赢该期望的步骤得正优势，跑输的步骤得负优势。 4、 训练目标 。把 GRPO 目标中的轨迹级 Advantage 替换为 At(i)，按决策步逐步做重要性采样与 clip，照常加入 KL 正则，即 step-wise GRPO。全程不需要参数化价值网络，也不需要外部评估器。 组件二：双轴探索奖励，让「稀有发现」更值钱 仅做好信用分配还不够：如果奖励本身不奖励长尾，智能体依然没有动力走远。SPADER 把奖励拆成两个阶段：搜索阶段的双轴探索奖励，和最终作答阶段的全局评估奖励。 对每一步搜索动作新发现的每个有效实体 e，其奖励由两个正交维度加权组成： 横向信息增益 U gain(e)：检索到一个有效新实体的基础效用，定