快讯 23:57鸿蒙装机量逼近9500万台,余承东此前预计冬季破亿23:55字节阿里腾讯下单超350亿美元RTX PRO 5500,英伟达产能难覆盖23:52华为披露Wi-Fi 7+端到端芯片方案:凌霄760系列实现动态窄频宽与真双频并发 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

论文 今天 · 星期三 · 10-21 08:00 约 1 分钟读完

蚂蚁集团联合 vLLM 社区开源量化推理内核库 Humming

摘要

蚂蚁集团与 vLLM 社区共同开源通用高性能量化推理内核库 Humming,代码已托管于 github.com/vllm-project/humming。该库面向量化推理场景,旨在为相关推理工作负载提供高性能内核支持,此次开源也意味着蚂蚁集团在 vLLM 生态中的参与进一步加深。

蚂蚁集团与 vLLM 社区近日联合开源了一款名为 Humming 的量化推理内核库。该库定位为通用高性能量化推理内核库,相关代码仓库已上线至 github.com/vllm-project/humming,供开发者查阅与使用。

从命名与定位来看,Humming 聚焦于量化推理这一环节。量化是当前降低大模型推理成本、提升部署效率的常见技术路径,而推理内核则是连接上层框架与底层硬件的关键组件,其性能表现直接影响推理服务的吞吐与延迟。

此次开源的特殊之处在于合作方与托管位置。Humming 并未放在蚂蚁集团自有仓库下,而是进入 vLLM 项目的 GitHub 组织,表明该库与 vLLM 推理生态存在直接关联,也体现出蚂蚁集团在 vLLM 社区中的参与度。

目前公开信息仅披露了该库的名称、定位与仓库地址,关于其支持的具体量化格式、适配硬件范围以及性能数据等细节尚未在原文中给出。对于关注量化推理与 vLLM 生态的从业者而言,该仓库的后续更新值得跟踪。

蚂蚁集团vLLM开源量化推理
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
23
模型产品档案
60
企业落地案例
17
完整版提示词