智能AI
None
给大模型「投机解码」松绑:免训练,即插即用近似验证,速度再提15%
新智元报道 大语言模型「逐字蹦」式的自回归生成,是推理慢、成本高的核心瓶颈。 投机解码 (Speculative Decoding)让一个轻量「草稿模型」先猜好一整块字、再由大模型一次并行「批改」,是近年最主流的免费提速思路之一,已被vLL
2026-09-05
新智元