LaneRoPE：用于协作并行推理和生成的位置编码

2026-05-28 1 阅读 Gabriele Cesa, Thomas Hehn, Aleix Torres-Camps, \`Alex Batlle Casellas, Jordi Ros-Giralt, Arash Behboodi, Tribhuvanesh Orekondy

arXiv:2605.27570v1 公告类型：新摘要：并行 LLM 测试时间缩放技术（例如 best-of-$N$）需要在相同输入提示下绘制 $N>1$ 序列。这些方法提高了准确性，同时利用了批处理 $N$ 代的计算效率。然而，批次中的每个序列传统上都是独立生成的，因此不会重用来自其他序列的中间生成、计算或观察。在本文中，我们提出 LaneRoPE 来实现生成时 $N>1$ 序列之间的协调和协作。 LaneRoPE 涉及两个关键思想：（a）序列间注意掩模，使序列采样相互依赖； (b) RoPE 扩展，注入位置信息，捕获特定序列内部和外部标记之间的相对位置。我们评估了我们在数学推理任务上的方法，并发现了有希望的结果：LaneRoPE 能够实现序列之间的协作，在有限的生成序列长度下产生额外的准确性增益。重要的是，由于 LaneRoPE 可以通过对底层 LLM 架构进行最小的更改进行协调，并且在推理时引入的开销可以忽略不计，因此将并行推理快速合并到现有的 LLM 推理管道中非常有吸引力。