快讯 23:20赛力斯就AI伪造问界视频提起诉讼,索赔100万元,10月23日开庭23:14Torvalds 借助大模型开发内核补丁,性能提升数量级但仍存竞态条件23:13英特尔推出推理微服务,自动适配四至六代至强处理器 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

论文 今天 · 星期四 · 10-15 08:00 约 1 分钟读完

vLLM 扩展置信度评分机制,无需置信头即可适配 EAGLE 等草稿模型

摘要

vLLM 将 confidence scoring 扩展至所有基于草稿模型的投机类型,通过在线拟合 logistic 回归从草稿者 logits 推导 logit(q_max) 特征来预测目标模型接受概率,作为 Adaptive Verification 的置信分,使 EAGLE、MTP 等草稿模型无需置信头即可使用自适应验证。

在推理加速领域,投机解码(Speculative Decoding)已成为降低大模型推理延迟的重要手段。其中,草稿模型负责生成候选 token,目标模型进行验证,而如何判断哪些候选值得验证,直接决定了整体效率。vLLM 此前已引入 Adaptive Verification 机制,但其置信度评分依赖模型自带的置信头,限制了适用范围。

近日,vLLM 宣布将 confidence scoring 能力扩展至所有基于草稿模型的投机类型。这意味着,包括 EAGLE、MTP 在内的草稿模型,即便没有专门的置信头,也能获得可用的置信分。这一改动消除了对特定模型结构的依赖,让更多投机解码方案能够接入自适应验证流程。

技术实现上,vLLM 采用在线拟合的 logistic 回归,从草稿者(drafter)的 logits 中推导出 logit(q_max) 特征,并以此预测目标模型对候选 token 的接受概率。该概率被直接用作 Adaptive Verification 的置信分,从而动态决定验证策略。整个过程无需额外训练置信头,降低了部署门槛。

对于 AI 基础设施团队而言,这一更新意味着在 vLLM 上部署 EAGLE、MTP 等草稿模型时,可以更灵活地启用自适应验证,而无需担心模型是否具备置信头。这有望进一步推动投机解码在生产环境中的普及,提升大模型推理的吞吐与响应速度。

vLLM投机解码EAGLEMTP
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
23
模型产品档案
60
企业落地案例
13
完整版提示词