vLLM 扩展置信度评分机制,无需置信头即可适配 EAGLE 等草稿模型
vLLM 将 confidence scoring 扩展至所有基于草稿模型的投机类型,通过在线拟合 logistic 回归从草稿者 logits 推导 logit(q_max) 特征来预测目标模型接受概率,作为 Adaptive Verification 的置信分,使 EAGLE、MTP 等草稿模型无需置信头即可使用自适应验证。
在推理加速领域,投机解码(Speculative Decoding)已成为降低大模型推理延迟的重要手段。其中,草稿模型负责生成候选 token,目标模型进行验证,而如何判断哪些候选值得验证,直接决定了整体效率。vLLM 此前已引入 Adaptive Verification 机制,但其置信度评分依赖模型自带的置信头,限制了适用范围。
近日,vLLM 宣布将 confidence scoring 能力扩展至所有基于草稿模型的投机类型。这意味着,包括 EAGLE、MTP 在内的草稿模型,即便没有专门的置信头,也能获得可用的置信分。这一改动消除了对特定模型结构的依赖,让更多投机解码方案能够接入自适应验证流程。
技术实现上,vLLM 采用在线拟合的 logistic 回归,从草稿者(drafter)的 logits 中推导出 logit(q_max) 特征,并以此预测目标模型对候选 token 的接受概率。该概率被直接用作 Adaptive Verification 的置信分,从而动态决定验证策略。整个过程无需额外训练置信头,降低了部署门槛。
对于 AI 基础设施团队而言,这一更新意味着在 vLLM 上部署 EAGLE、MTP 等草稿模型时,可以更灵活地启用自适应验证,而无需担心模型是否具备置信头。这有望进一步推动投机解码在生产环境中的普及,提升大模型推理的吞吐与响应速度。