玩家用停产傲腾内存无显卡运行2.8万亿参数Kimi K3模型
有网友在Reddit分享家庭实验室尝试,未用显卡,仅靠英特尔已停产的傲腾持久内存与40核至强处理器运行2.8万亿参数月之暗面Kimi K3模型,1比特量化下输出速度经优化从每秒0.85词元提升至1.50词元。
Reddit社区近日出现一项来自家庭实验室的推理尝试:用户u/IndividualSurvival于11月2日发帖称,在完全不配备显卡的条件下,成功让2.8万亿参数的月之暗面Kimi K3模型跑了起来,所依赖的存储介质是英特尔已经停产的傲腾持久内存。
傲腾(Intel Optane)是英特尔与美光联合开发的3D XPoint非易失性存储技术。该网友选用的是傲腾持久内存200系列,其外形与安装方式接近服务器内存条,单条容量分为128GB、256GB和512GB三档,面向第三代至强可扩展处理器平台设计。测试平台搭配一颗40核第三代英特尔至强可扩展处理器,原文未披露具体型号与内存容量,运行模式为App Direct,即DRAM与傲腾作为两个独立数据空间呈现给软件,推理则由llama.cpp执行。
从结果看,这套方案目前仍属验证性质,输出速度谈不上流畅。在1比特量化并压缩模型数据后,初始生成速度约为每秒0.85个词元;关闭直接访问功能DAX、让常用数据受益于DRAM缓存后,速度提升到每秒1.50个词元。另一项3比特量化测试仅录得每秒0.75个词元,生成5万个词元大约需要18.5小时。
这一尝试的意义不在于性能,而在于展示了一条绕开GPU的推理路径:借助大容量持久内存承载超大规模模型权重,再通过缓存策略换取有限的吞吐改善。对于关注低成本本地推理与异构内存方案的从业者而言,该案例提供了一个可复现的参考样本,但其速度水平距离实用仍有明显距离。