GameSmith：通过综合游戏扩展零和自我博弈

arXiv:2610.13995v1 公告类型：新 摘要：在两人零和游戏上训练后的大型语言模型 (LLM) 提供了可验证的奖励，并且该收益已被证明可以转移到一般推理。然而，现有的管道依赖于少数手写游戏以及与其相关的优势估计器，因此游戏的供应和对大型语料库的优势估计都限制了扩展。我们推出了 GameSmith，它可以同时扩展两者。 LLM 在模板内综合游戏，其奖励、观察和隐藏信息代码是固定的。每个游戏都通过种子配对重放和对其规范的独立重新实现进行验证，然后扩展到编码、规则和大小变体，从而提供 29 个系列的 26 个新游戏以及来自三个 SPIRAL 模板的 336 个经过验证的变体。该模型是从较大教师 (Qwen3-32B) 在这些游戏中的自我对弈中提炼出来的，然后通过 CRAB 的自我对弈强化学习进行训练，CRAB 是一种优势估计器，将每个决策归功于其位置预期回报的收缩估计，并在每个变体上进行定义。在 Qwen3-4B-Base 上，蒸馏将 13 个基准的平均 pass@1 从 45.5 提高到 62.5，高于相同预算的三款 SPIRAL 游戏，并且与 CRAB 的自我对战达到 64.9。顺序适用于不同型号，并且转移随着游戏系列数量的增加而增长。