智能AI
morning
miniTE：诊断和弥合本机 NVFP4 强化学习中的执行差距
摘要
arXiv:2610.23928v1 Announce Type: new Abstract: Native NVFP4 promises to accelerate reinforcement learning (RL) for large language models (LLMs), but achieving stable learning across separate training...
and
the
numerical
NVFP4
for
training
execution
native
bit
learning
2026-10-20
1 阅读
约1分钟阅读
Zhen Li, Mingfa Feng, Yiming Zhang, Yang Yu, Changhai Zhou, Pengxiang Li, Dongkuan Wu, Congkai Xie, Hongxia Yang
字号:
arXiv:2610.23928v1 公告类型：新 摘要：原生 NVFP4 有望加速大型语言模型 (LLM) 的强化学习 (RL)，但跨单独的训练和采样引擎实现稳定学习仍然具有挑战性。我们表明，匹配模型权重和数值格式不足以确保一致的策略评估，凸显了跨引擎数值执行的重要性。我们推出了 miniTE，这是一个轻量级框架，它结合了 LLM RL 的执行诊断、跨引擎数值对齐和高效的原生 W4A4（4 位权重和激活）GEMM 计算。它在不修改 RL 目标的情况下提高了数值执行的一致性，同时减少了实现开销以实现本机低位计算的优势。 Qwen3-30B-A3B 上的长视野 RL 实验证明了稳定的训练和接近 BF16 的基准性能，在评估质量方面优于朴素 Transformer Engine (TE) NVFP4。在单个 NVIDIA B300 GPU 节点上，优化后的学习器达到 33,540 个令牌/秒，对于完整的学习器更新，吞吐量分别是 BF16 和 TE NVFP4 的 1.39 倍和 1.47 倍。我们发布了框架、内核、诊断和训练配置，以使原生低位 RL 变得更容易。
这篇文章对您有帮助吗？
订阅66必读
每日精选科技资讯，直达你的邮箱