快讯 22:26李在明视察蔚山在建数据中心,强调AI竞赛速度决定成败08:00Together AI 披露提示词泄露事件:编码 agent 误传凭证致样本外泄08:00Qwen4 Max登陆Together AI,1M上下文加持整仓bug修复 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

论文 11-13 · 星期五 · 11-13 15:14 约 2 分钟读完

玩家用停产傲腾内存无显卡运行2.8万亿参数Kimi K3模型

摘要

有网友在Reddit分享家庭实验室尝试,未用显卡,仅靠英特尔已停产的傲腾持久内存与40核至强处理器运行2.8万亿参数月之暗面Kimi K3模型,1比特量化下输出速度经优化从每秒0.85词元提升至1.50词元。

Reddit社区近日出现一项来自家庭实验室的推理尝试:用户u/IndividualSurvival于11月2日发帖称,在完全不配备显卡的条件下,成功让2.8万亿参数的月之暗面Kimi K3模型跑了起来,所依赖的存储介质是英特尔已经停产的傲腾持久内存。

傲腾(Intel Optane)是英特尔与美光联合开发的3D XPoint非易失性存储技术。该网友选用的是傲腾持久内存200系列,其外形与安装方式接近服务器内存条,单条容量分为128GB、256GB和512GB三档,面向第三代至强可扩展处理器平台设计。测试平台搭配一颗40核第三代英特尔至强可扩展处理器,原文未披露具体型号与内存容量,运行模式为App Direct,即DRAM与傲腾作为两个独立数据空间呈现给软件,推理则由llama.cpp执行。

从结果看,这套方案目前仍属验证性质,输出速度谈不上流畅。在1比特量化并压缩模型数据后,初始生成速度约为每秒0.85个词元;关闭直接访问功能DAX、让常用数据受益于DRAM缓存后,速度提升到每秒1.50个词元。另一项3比特量化测试仅录得每秒0.75个词元,生成5万个词元大约需要18.5小时。

这一尝试的意义不在于性能,而在于展示了一条绕开GPU的推理路径:借助大容量持久内存承载超大规模模型权重,再通过缓存策略换取有限的吞吐改善。对于关注低成本本地推理与异构内存方案的从业者而言,该案例提供了一个可复现的参考样本,但其速度水平距离实用仍有明显距离。

傲腾持久内存Kimi K3本地推理llama.cpp
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
27
模型产品档案
60
企业落地案例
33
完整版提示词