探索性建模：根据 K 个猜测中的最佳结果进行训练

网站：https://explorative-modeling.github.io/ GitHub：https://github.com/alexiglad/XM TLDR：我们引入探索性建模，这是一种新的生成建模范例，当添加到现有生成模型时，它充当第三个预训练轴，并且还支持端到端生成。增加探索可以单调改善图像、视频和语言方面的现有模型，并且收益随着规模的扩大而增长（数据为 7%→36%，参数为 13%→23%）。具体来说，探索性模型 (XM) 达到了 6.2 倍的样本效率、4.1 倍的 FLOP 效率和 47% 的参数效率。探索还可以扩展泛化，并扩展现有模型的端到端程度。作为端到端生成模型，XM 在控制任务上匹配扩散，推理计算量减少了 256 倍。让我从一个听起来很简单的问题开始。如果我要求模型“生成一只狗”，有多少个正确答案？事实证明，有很多……可能有数十亿甚至更多的图像可以算作狗图像。那么如果我们训练一个神经网络来直接预测狗的图像会发生什么呢？该模型在训练过程中看到了数千只不同的有效狗，最接近所有狗的单个预测是它们的平均值。这就是模型学习输出的内容，数千只狗的平均看起来一点也不像狗，而是棕色的模糊。来自数据的真狗 → 模型的预测结果 图 1：训练模型直接预测图像会给出所有图像的平均值，即棕色模糊。这就是为什么直接回归不适用于生成建模。为了具体说明这一点，让我们玩一个游戏。我将向下面的木板投掷飞镖，每个飞镖都会随机落在环上的某个位置。你的任务是猜测我的下一个飞镖会落在哪里，距离越远，你的分数就越差。图 2：我们游戏的飞镖盘。那么你应该猜到哪里呢？事实证明，最小化错误的猜测是棋盘的正中间。 1 我们训练了一个模型来玩这个游戏，果然，它每次都猜测中间（这是这里的最佳预测）！图 3：玩我们游戏的模型（蓝色）猜测棋盘的中间。但这很糟糕……中间几乎从来不是飞镖真正落地的地方。 “最佳”猜测是没有飞镖落到的地方。这是生成建模的核心问题。当预测有许多有效答案时，最好的单个预测是它们的平均值 ，而数据的平均值通常是一个糟糕的答案，看起来与真实数据完全不同。 2 这个问题对于飞镖或狗来说并不是特有的，它会出现在任何类型的数据中。当我们训练一个模型直接生成三堆二维点时，它预测它们中间有一个点，而当我们在文本上训练一个模型时，它只能说“the”。真实数据 模型的预测内容 真实数据 模型的预测内容 图 4：直接预测会崩溃为任何类型数据的平均值。但等等。 ChatGPT 编写连贯的文本，图像模型生成真正令人惊叹的图像。显然这个问题已经以某种方式解决了，对吧？它已经做到了，并且当今每个可扩展的生成模型都以相同的方式解决这个问题，即在训练过程中将生成分解为许多小步骤，因此每个步骤大致都有一个正确答案。当一个步骤有一个正确答案时，就没有什么可平均的，模糊就会消失。让我们看看这是如何工作的。自回归模型（如法学硕士）一次预测一个飞镖，这在我们的游戏中意味着永远不会一次性猜出飞镖的确切位置。相反，你首先猜测飞镖落在左或右的距离，然后再猜测向上或向下的距离。一旦你知道飞镖落在最右边，它就只有几个地方可能。第 1 步：选择左右位置 步骤 2：在给定左右位置的情况下，从上到下选择 图 5：自回归一次预测一个序列元素。在我们的游戏中，一旦选择了左右位置，上下预测就只剩下两个小点可供选择。扩散模型的做法有所不同。他们从纯随机噪声开始，对数据采取数百个微小步骤。早期，他们的猜测仍然可能成为任何飞镖，但每一步都会缩小可能性，因此没有一个步骤会同时面临许多有效的答案。开始：可能成为任何飞镖 中途：剩余区域较少 接近结束：固定 图 6：扩散从噪声到数据采取小步骤。蓝色显示模型猜测（紫色）仍然可能变成的飞镖，每一步都会缩小。事实证明，这基本上就是每个现代生成模型的工作原理，将生成过程分解成可以很好预测的更小的部分。这包括法学硕士、图像和视频模型，甚至是更新的几步模型，例如 MeanFlow 和一致性模型。我们将这种将生成分解为多个部分的想法称为分解生成。这种分解生成的方法是有效的，但由于几个原因它也是邪恶的。首先，模型是通过一步进行训练的，但是