律师斥资9450美元搭建12卡V100集群,本地跑DeepSeek达每秒184词元
摘要
一名律师在Reddit发帖称,以约9450美元购入12张二手英伟达V100显卡搭建本地AI集群,运行DeepSeek-V4.1-Flash,最高吞吐量达每秒184个词元,为个人自建推理集群提供了可参考的硬件与并行配置样本。
个人自建AI推理集群的可行性再次得到验证。11月20日,一名律师在Reddit社区发帖,披露其以约9450美元(约合人民币63239元)采购12张二手英伟达Tesla V100 SXM2 32GB显卡,搭建起一套可在本地运行DeepSeek-V4.1-Flash的AI服务器,集群最高吞吐量达到每秒184个词元。
硬件层面,这12张V100通过NVLink与PCIe互联,组成可协同推理的本地集群。软件配置上,系统采用3个流水线阶段与每阶段4卡张量并行的组合结构,即PP3×TP4,并对模型实施4-bit NVFP4量化。发帖者表示,每个专家被压缩至约15360个参数,使12张V100能够分别承载模型中的专家分片。
在发帖者列出的横向对比中,本次12卡V100配置在单请求场景下达到153至184词元每秒;作为参照,3×DGX Spark方案为125(SGLang)至138(TensorFold 4.0 bpw)词元每秒,4×DGX Spark方案为136(vLLM + DSpark)词元每秒。普通文本场景下,该配置的吞吐区间为38至51词元每秒。
值得注意的是,发帖者并未公开相关代码。对关注本地化推理的从业者而言,这一案例的价值在于展示了以较低成本的二手硬件、配合流水线与张量并行及低比特量化,承载较大模型专家分片的实际路径,但其可复现性仍受限于未公开的工程细节。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗