蚂蚁集团联合 vLLM 社区开源量化推理内核库 Humming
摘要
蚂蚁集团与 vLLM 社区共同开源通用高性能量化推理内核库 Humming,代码已托管于 github.com/vllm-project/humming。该库面向量化推理场景,旨在为相关推理工作负载提供高性能内核支持,此次开源也意味着蚂蚁集团在 vLLM 生态中的参与进一步加深。
蚂蚁集团与 vLLM 社区近日联合开源了一款名为 Humming 的量化推理内核库。该库定位为通用高性能量化推理内核库,相关代码仓库已上线至 github.com/vllm-project/humming,供开发者查阅与使用。
从命名与定位来看,Humming 聚焦于量化推理这一环节。量化是当前降低大模型推理成本、提升部署效率的常见技术路径,而推理内核则是连接上层框架与底层硬件的关键组件,其性能表现直接影响推理服务的吞吐与延迟。
此次开源的特殊之处在于合作方与托管位置。Humming 并未放在蚂蚁集团自有仓库下,而是进入 vLLM 项目的 GitHub 组织,表明该库与 vLLM 推理生态存在直接关联,也体现出蚂蚁集团在 vLLM 社区中的参与度。
目前公开信息仅披露了该库的名称、定位与仓库地址,关于其支持的具体量化格式、适配硬件范围以及性能数据等细节尚未在原文中给出。对于关注量化推理与 vLLM 生态的从业者而言,该仓库的后续更新值得跟踪。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗