DeepSeek开源生产级推理框架DeepInfer,披露单集群日处理155T tokens
摘要
DeepSeek在PyTorch Conf期间开源DeepInfer推理框架,该框架支撑V4.1 Flash生产环境,基于vLLM定制,兼容NVIDIA SM100与华为昇腾950,并同步发布deepseek-recipe。官方披露单集群日处理155T tokens、推理毛利约80%。
DeepSeek在PyTorch Conf期间对外开源了DeepInfer推理框架。这一框架并非实验性项目,而是支撑V4.1 Flash线上服务的生产推理栈,意味着其技术路径已在真实业务负载中得到验证。
从技术构成看,DeepInfer基于vLLM进行定制开发,在硬件适配上同时覆盖NVIDIA SM100与华为昇腾950两类平台。DeepSeek还配套发布了deepseek-recipe,为开发者复现与部署提供参考。
伴随开源,DeepSeek披露了两项运营数据:单集群日处理量达到155T tokens,推理业务毛利率约为80%。这组数字为外界观察其推理系统的规模与成本结构提供了具体参照。
对AI行业而言,生产级推理栈的公开降低了高性能推理系统的搭建门槛,而跨NVIDIA与昇腾平台的适配,也为国产算力生态下的推理部署提供了可参考的实践样本。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗