开发者生态
evening
从龙蜥孵化到上游贡献:SGLang Tracing with AI Agent 调优实践
2026-07-02
1 阅读
约10分钟阅读
苏峰,常怀鑫
字号:
编者按:大模型推理的性能瓶颈往往隐藏在 Prefill 与 Decode 的交错调度、多卡间的数据同步、以及 Continuous Batch 的动态编排之中——而要真正“看见”这些问题,离不开请求级别的可观测能力。在沐“蜥”芯生,开源共创—— SGLang 技术交流 MeetUp "上,龙蜥社区 SGLang 开发者苏峰和龙蜥社区智算联盟委员常怀鑫分享了《从全链路可观测到智能分析:AI 性能分析范式的演进与实践》的主题演讲。两位嘉宾在演讲中回顾了其在龙蜥社区孵化并向上游贡献的 SGLang Tracing 可观测性建设历程,并结合具体案例探讨如何利用 AI Agent 实现 SGLang 框架的性能优化。以下为本次演讲全文: SGLang Tracing 请求级可观测能力 当前推理引擎在部署时会面临很多性能问题——不管是线上服务还是部署新模型、研发新实例,我们经常遇到这样的情况:测试指标偏高、请求中止或超时;又或者 CPU 和 GPU 资源没有打满,但吞吐再也提升不上去。这些都是典型的性能问题。 要分析上述问题,完善的可观测性是基石。在此之前,SGLang 有三类观测手段: 第一种是日志。 一般我们用日志来看整体的健康度,但它的输出比较碎片化,而且不是所有信息都会输出,所以用日志来分析问题通常需要做大量的后处理。 第二种是 Metrics。 一般用于线上健康度观测,呈现形式类似于折线图或直方图,是聚合的统计数字。它偏向宏观观测,会丢失请求的个体信息,也没有办法把请求的执行过程关联起来。 第三种是 Torch Profiler。 这应该是我们离线分析性能问题最常用的手段,非常好用。但最大的问题是它非常重——采集几十秒就会产生 GB 级的数据,没办法长时间采集。对于偶发性问题,采集到它的概率其实不大。另外一个缺点是它不区分请求,以函数调用栈的方式呈现,不管 batch 里有多少请求,我们看到的其实就是一次 batch 里一个 forward 的结果。 但我们平时最直观想看到的是:到底是哪个请求慢了?它在哪个阶段变慢了?我们理想的可观测体系,缺的就是对请求的 Tracing 能力。而在一些比较成熟的互联网业务中,Tracing 基本是必要功能。 Tracing 的本质是建立全链路关联。一方面,它让我们看清单个请求内部各阶段的执行顺序和动作;另一方面,针对大模型场景中因请求随机到达导致的调度打断问题,Tracing 还需进一步延伸至请求间关系的观测。这意味着,我们不仅要关注单点性能,更要深入分析请求之间是如何互相影响的。 SGLang Tracing 设计与实现 对于 SGLang 来说,实现这样一套能力有三个挑战: 第一,多请求并发。 它不同于互联网的多协程方式。OpenTelemetry 原生支持多协程自动管理 Tracing 上下文,在协程切换调度时自动保存和恢复上下文。但在 SGLang 里,多请求并发是以 Batch 的形式一起执行的,所以需要我们手动管理每个请求的 Tracing 上下文。 第二,Continuous Batch 机制。 每一轮 Batch 可能有新请求加入,也可能有请求终止,所以我们要跟踪的点分散在整个代码仓库中,不好管理。 第三,并发方式多样。 我们有 TP、DP、PP、PD 等并行方式,除了想看请求的细粒度执行过程,还想看并行执行的过程。 SGLang Tracing 基于 OpenTelemetry 官方 API 构建,通过封装一层 Tracing Package 进行上下文管理,并对接成熟的生态体系。数据可导出至 OpenTelemetry Collector,进而接入 Jaeger 或 Zipkin 等前端可视化工具。 针对大模型推理场景,SGLang 还提供了文件导出与离线分析方案。虽然原生支持单请求观测,但通过离线脚本将数据转换为 Perfetto 格式,用户可在单一视图中全局查看所有请求,从而直观洞察请求间的相互影响。 SGLang Tracing 的核心实现集中于 TimeStats 类。社区对时间戳采集机制进行了重构,将所有相关逻辑统一收敛至该类中,使其能够集中支撑日志、Metrics 和 Tracing 三大可观测性能力。 在 TimeStats 内部,系统负责创建 Tracing Context。当某个执行阶段完成时,通过回溯前序时间戳即可生成 Span,同时实现了从 Tokenizer 到 Scheduler 的上下文转移。这种集中式设计的优势在于解耦与低侵入性:只要宏观执行阶段和时间戳类型保持不变,无论 SGLang 主体代码如何重构,Tracing 模块均无需修改;且在功能关闭时,对主推理流程完全无感。 Span 结构设计 我们设计了三层的 Span 架构来应对上述所说的挑战: 第一层 Span 是请求级别的 Span,一个请求生成一个 Span。第二层 Span 是线程级别的 Span——从请求到达某个线程的那一刻,到该线程处理完毕的整个生命周期,插入一个 Span。在这一层底下可以聚合每个请求细粒度的执行过程。通过线程 Span,我们可以看到请求在各种并行方式下是怎么执行的。第三层允许在线程 Span 底下挂载更细腻的信息,比如每个 Token 生成的过程。并且通过动态的 Trace Level 控制,可以调节跟踪粒度。 这个三层 Span 结构还允许上层系统把 Tracing Context 传播下来,这样可以把 SGLang 的 Tracing 和上层系统(如 Dynamo 调用 SGLang 时生成的 Span)关联在一起。 可视化效果 单请求视图: 通过导出到 Jaeger,可以看到单个请求的完整执行过程,包括各个阶段的 Span 和时间信息。 多请求视图: 通过离线脚本转换成 Perfetto 格式,呈现两层结构——第一层是 SGLang 的各个线程,每个线程底下把所有请求的执行 Span 排列出来,并通过 Link 的方式串联,从而得到所有请求的执行流。 实际效果展示中,我们用非 PD 分离部署,以 TP 方式部署,包含三个进程:一个 Tokenizer 和两个 TP Rank。这里两个请求并发执行,在每个线程底下可以看到两行,通过统一的时间轴可以看到两个请求是怎么一起执行的——比如 Prefill 是分开 forward 的,而 Decode 是一起 forward 的。 基于 Agent 的 SGLang 性能分析实践 随着 AI 技术的演进与智能体浪潮的兴起,可观测性已成为性能分析领域不可或缺的基础支撑。若以“手”与“脑”作比,可观测体系如同灵巧的“手”,负责数据采集与呈现;而 Agent 则扮演着“大脑”的角色,主导分析与决策。基于这一可观测基础,我们开展了一系列性能分析与优化实践。后续,基于 Agent 的实践 skill 预计会上线到龙蜥社区,敬请期待。接下来,将通过四个具体案例——包含三个性能分析案例与一个性能优化案例——为大家分享我们的探索与经验。 案例一:自动获取 SLA 最优配置 在实际工作中,我们反复面临一项核心任务:在特定配置下(如 DeepSeek V4 部署于 H20),寻找满足 SLA 约
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱