开发者生态
morning
嵌入速度提高 14 倍:我们如何在 Manticore 中重建 ONNX 路径
2026-07-03
1 阅读
约7分钟阅读
snikolaev
字号:
14 倍快的嵌入:我们如何在 Manticore 中重建 ONNX 路径 作者:Dmitrii Kuzmenkov 发布时间:2026 年 6 月 25 日 - 阅读时间 14 分钟 当我们推出自动嵌入(自动将任何文本列转换为向量的功能,无需运行单独的模型服务)时,最常见的反馈是关于速度。之前的路径通过 Candle 之上的 SentenceTransformers ,Hugging Face 的纯 Rust ML 推理运行时,它留下了大量的 CPU 资源:无论我们如何提供它们,大多数工作负载都处于文档/秒的低两位数,并且并发调用在单个模型会话上序列化。因此,我们花了几周时间重建 Manticore 运行 ONNX 模型的方式。 Manticore Search 27.1.5 中提供了新的 ONNX 运行时后端。 ONNX(开放神经网络交换)是大多数流行的开源嵌入模型(MiniLM、BGE、E5 等)已经发布的便携式模型格式。结果是,在相同硬件(平均便宜的 16 核/32 线程服务器)、相同模型、相同权重、在完整线程 × 批处理工作负载网格上平均的后端,平均比之前的 SentenceTransformers/Candle 路径快约 14 倍 — 无论您运行 1 个客户端线程还是 32 个客户端线程,这一优势都保持不变。旧路径在整个网格中保持在 5–11 文档/秒范围内;新版本的速度为 70-230 文档/秒。这篇文章是工程日志:我们尝试了什么,什么让我们惊讶,我们扔掉了什么,以及最终的设计是什么样子。 TL;DR 比之前的 SentenceTransformers/Candle 路径平均快约 14 倍,在同一个盒子(16 核/32 线程)、相同模型、相同权重上的全线程 × 批量工作负载网格(1 / 2 / 4 / 8 / 16 / 32 线程 × 批量大小 1…128)上平均。新的 ONNX 路径在 Manticore Search 27.1.5 中发布,现在是任何附带 .onnx 文件的 HuggingFace 模型的默认快速路径。在 all-MiniLM-L12-v2 上,旧的 Candle 路径在我们尝试的每个配置中都是 5-11 文档/秒。新的 ONNX 路径落在 70-230 文档/秒范围内 - 无论您运行 1 个客户端线程还是 32 个客户端线程,都保持相同的 ~14× 裕度。我们的测试盒上的单插入延迟:单个客户端约为 14 毫秒,8 路并发负载下约为 56 毫秒 - 两者都远低于 Candle 所达到的 200+ 毫秒。想要最大批量摄取吞吐量吗?在单个客户端线程上使用高批量大小 (32–128)。新的后端在调用内部进行并行化,因此客户端扇出只会将协调开销堆积在顶部 - 我们的盒子上的峰值为 1 线程 + 批量 = 64 时的 233 文档/秒。最重要的两个更改:关闭 intra_op_spinning ,并放弃在工作线程内批处理文档。没有面向用户的 API 更改。已指向支持 ONNX 的 MODEL_NAME 的表会自动选择新路径。将现有表切换到不同的模型并不是一件简单的事 - Manticore 不允许在 FLOAT_VECTOR 字段上更改 MODEL_NAME - 但您也不必重新创建整个表:您可以在新模型旁边添加一个新列,重建其嵌入,然后删除旧的。为什么这很重要通过自动嵌入,数据库本身在每个 INSERT 上运行模型。这意味着嵌入速度就是 INSERT 速度 - 您的摄取吞吐量是嵌入步骤可以维持的任何速度。旧的 SentenceTransformers/Candle 路径将性能抛在了桌面上。并发性遇到了锁争用,批量调用由于填充开销而停滞不前,并且在调用之间,运行时以阻止下一个调用从上一个调用停止的地方继续调用的方式停放线程。标题的症状很简单:无论你向它扔什么,顶部都会在满载的情况下很好地显示盒子。整个扫描(单行插入、128 行批量插入、一个客户端线程、三十二个客户端线程)的速度为 5-11 个文档/秒,因为无论您如何喂它,都无法为您购买更多的 CPU。新的 ONNX 路径将底线提高了一个数量级,并为用户提供了有意义的性能调整选项。单线程、单行 INSERT 现在达到 72 个文档/秒 — 已经是旧 Candle 上限的大约 7 倍。添加并发或批量大小,它会攀升至 130–230 文档/秒范围,在 --batch-size=64 的单个客户端线程上,网格顶部为 233 文档/秒。对整个线程 × 批次矩阵进行平均,新路径约为旧路径的 14 倍。为什么 ONNX 而不是 Candle Manticore 的嵌入库已经支持一些后端一段时间了。蜡烛路径非常适合正确性并且易于运输。但对于 MiniLM 和 BGE 系列等小型编码器模型的生产推理,ONNX Runtime 很难被击败:ONNX Runtime(或 ORT — 微软官方的、针对 ONNX 模型手动调整的 C++ 推理引擎)可以进行图融合、常量折叠、内核自动调整。 HuggingFace 上大多数流行的嵌入模型已经在其 onnx/ 目录中发布了预融合的 model.onnx。磁盘上的文件已经是 ORT 想要的形状。在相同的全 MiniLM-L12-v2 权重上,在 CPU 上,ONNX 路径是一个显着的进步
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱