快讯 18:00OpenAI披露前沿模型训练环境安全设计:离线隔离与智能体红队并行17:21科大讯飞首发星辰TaaS平台,让Token真正成为千行百业的生产力17:07企业AI需要两个世界模型 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

论文 今天 · 星期六 · 10-24 14:54 约 1 分钟读完

DeepSeek开源生产级推理框架DeepInfer,披露单集群日处理155T tokens

摘要

DeepSeek在PyTorch Conf期间开源DeepInfer推理框架,该框架支撑V4.1 Flash生产环境,基于vLLM定制,兼容NVIDIA SM100与华为昇腾950,并同步发布deepseek-recipe。官方披露单集群日处理155T tokens、推理毛利约80%。

DeepSeek在PyTorch Conf期间对外开源了DeepInfer推理框架。这一框架并非实验性项目,而是支撑V4.1 Flash线上服务的生产推理栈,意味着其技术路径已在真实业务负载中得到验证。

从技术构成看,DeepInfer基于vLLM进行定制开发,在硬件适配上同时覆盖NVIDIA SM100与华为昇腾950两类平台。DeepSeek还配套发布了deepseek-recipe,为开发者复现与部署提供参考。

伴随开源,DeepSeek披露了两项运营数据:单集群日处理量达到155T tokens,推理业务毛利率约为80%。这组数字为外界观察其推理系统的规模与成本结构提供了具体参照。

对AI行业而言,生产级推理栈的公开降低了高性能推理系统的搭建门槛,而跨NVIDIA与昇腾平台的适配,也为国产算力生态下的推理部署提供了可参考的实践样本。

DeepSeekDeepInfer推理框架开源
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
23
模型产品档案
60
企业落地案例
18
完整版提示词