使用自回归序列模型的条件属性估计

arXiv:2605.14004v1 公告类型：新 摘要：生成模型通常使用下一个令牌预测目标进行训练，但许多下游应用程序需要具有估计或控制序列级属性的能力。下一个标记预测可能会导致训练期间局部模式的过度拟合、全局结构的欠拟合，并且需要大量的下游修改或昂贵的采样来指导或预测推理时生成的样本的全局属性。在这里，我们介绍条件属性转换器，这是一种新颖的方法，用于联合估计下一个标记的概率以及以每个潜在的下一个标记选择为条件的属性值。该框架在单个前向传递中实现了三个关键功能，而无需修改输入序列：（1）通过识别序列中的每个令牌如何与属性值关联，在整个序列中进行每个令牌信用分配； (2) 反事实分析，通过量化以替代的下一个标记选择为条件的属性差异； (3) 可操纵生成，通过基于下一个标记和属性似然的组合来解码序列。我们的方法在稀疏奖励任务上实现了最先进的性能，在足够的模型大小下改进了下一个令牌预测，估计属性概率比采样快几个数量级，并且可以指导一系列语言任务上的自回归序列模型的解码。