开发者生态
morning
戳破 GPU 泡沫
2026-06-30
1 阅读
约5分钟阅读
radq
字号:
← 返回所有博客 Moondream Engineering 戳破 GPU 气泡 Moondream 的推理引擎 Photon 实现了近乎实时的 VLM 推理(在 NVIDIA B200 上约为 33 毫秒)。通过优化 GPU 的工作方式,我们可以了解它如何将解码吞吐量提高 35%。 2026 年 6 月 4 日 如何让 AI 模型运行得尽可能快?这是 Moondream 总部一直在思考的一个问题。 GPU 处理模型推理中涉及的所有数学运算,因此乍一看似乎没有太多内容:只需告诉它要做什么并等待答案即可。但如果您开始研究它在幕后的实际工作原理,您会发现 GPU 经常闲置,不是因为缺乏工作,而是因为 CPU 还没有告诉它下一步要做什么。这种现象称为 GPU 气泡。当典型的人工智能模型生成文本时,它一次生成一个令牌(令牌是一大块文本,大约是几个字符)。每个标记都依赖于它之前的标记,这是一个称为自回归的属性,因此生成是连续的。在获得第二个标记之前,您无法计算第三个标记。此解码循环涉及 CPU 和 GPU 之间的往返。 GPU 完成了运行实际模型的大部分繁重工作,执行数十亿次算术运算来生成下一个令牌。但 CPU 也完成了大量令人惊讶的工作。它选择接下来要运行的请求,设置 GPU 所需的元数据,从模型的输出中选取实际令牌并记录它,等等。挑战在于,一个代币的 GPU 工作价值很小,而 CPU 管理工作是每次旅行支付的固定成本。如果 GPU 必须等待该内务处理才能启动下一个令牌,则它会在每个循环的一部分中处于空闲状态。这就是我们出现 GPU 气泡的原因。在这篇文章中,我们将深入探讨 Photon 如何使用一种称为管道解码的技术来隐藏这些气泡。这个想法是重叠两种工作:我们在下一个令牌上开始 GPU 工作,而 CPU 仍在完成最后一个令牌。泡沫 这就是问题的本质。在阻塞版本(上)中,每一步都是接力棒的传递。 CPU 计划并启动转发,GPU 运行它,然后 CPU 同步,等待结果落地,提交它们,然后才开始计划下一步。这是因为该计划取决于我们选择的代币。例如,如果模型指示它已完成应答,那么我们需要从队列中安排一个新的待处理请求。 GPU 处于空闲状态,等待 CPU 完成其提交计划启动工作。解决方法是对循环进行管道化。在当前步骤的令牌仍在返回并提交时启动下一个转发。这是流水线版本(下):转发器背对背运行,CPU 工作重叠在它们下面。我们可以这样做的原因是我们刚刚采样的令牌不必离开 GPU。下一个转发直接从 GPU 内存读取它作为输入。我们最终仍然希望在 CPU 上有一个副本,以对其进行去令牌化、流式传输,并决定请求是否完成,但这是我们可以稍后在后台进行的簿记,而下一个转发已经运行。不等待该副本是消除泡沫的举措。确保安全需要三件事,我们将在本文的其余部分中介绍这些内容:防止步骤缓冲区发生冲突(乒乓时隙)、为受约束的解码提供正确的采样顺序(现在转发,稍后采样)以及请求完成后进行清理(僵尸)。机制 1:乒乓槽 为了运行解码步骤,GPU 需要一组工作缓冲区:一个用于暂存输入的位置(最后生成的标记及其在序列中的位置)、一个用于模型写入其输出的位置(logits,词汇表中每个单词的一个分数)、一个用于放置采样标记的位置以及一些簿记,注意内核需要查找每个序列的缓存键和值(其 KV 缓存)。我们在两端保持固定(页面锁定)主机缓冲区,因此 GPU 内外的副本作为后台 DMA(直接内存访问)传输运行,而不是阻塞 CPU。这些缓冲区分配一次并在每个步骤中重复使用。我们努力避免在运行时执行 GPU 内存分配,因为它们会导致设备同步并引入气泡。还需要固定的缓冲区地址来将解码步骤捕获一次作为 CUDA 图并重播它,从而减少内核启动开销。我们将此包称为 DecodeSlot 。这可行,但引入了管道阻塞程序。缓冲区会一直使用,直到该步骤完成,因此在当前步骤完成之前我们无法开始下一步。为了重叠两个步骤,第二步需要有自己的工作集,否则它可能会在 CPU 读取第一步的结果之前覆盖它们。所以我们保留两个插槽并在它们之间交替,就像乒乓球一样。关于启动需要注意的一件事:当我们从 CPU 发出启动时,我们不会立即执行内核。相反,我们将它们排队到一个流中——一个有序的 q
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱