参数量 × 每参数字节 = 权重显存,再留约 15% 给 KV cache 与框架开销。 下面的表是这么算出来的,你可以拿计算器复核——比看任何"实测跑分"都可靠。
一、显存估算表 7 档规模 × 3 种量化
| 模型规模 | FP16(2 字节/参数) | INT8(1 字节) | INT4(0.5 字节) | 说明 |
|---|---|---|---|---|
| 1.5B | 3.4 GB | 1.7 GB | 0.9 GB | 单卡消费级可跑 |
| 3B | 6.9 GB | 3.4 GB | 1.7 GB | 单卡消费级可跑 |
| 7B | 16.1 GB | 8 GB | 4 GB | 单卡消费级可跑 |
| 8B | 18.4 GB | 9.2 GB | 4.6 GB | 单卡消费级可跑 |
| 13B | 29.9 GB | 14.9 GB | 7.5 GB | 需大显存或多卡 |
| 32B | 73.6 GB | 36.8 GB | 18.4 GB | 需大显存或多卡 |
| 70B | 161 GB | 80.5 GB | 40.3 GB | 需多卡/服务器卡 |
公式:显存 ≈ 参数量 × 每参数字节 × 1.15。
实际还要加上 KV cache(随上下文长度与并发线性增长,长上下文场景可能再多出数 GB)与框架预留。
上表是下限,不是保证值。
二、按显存档位看能跑什么
现役显卡报价 →8 GB 档
INT4 可跑 3B–7B;FP16 只够 3B。
适合:分类、抽取、轻量 Agent 工具调用。
12–16 GB 档
INT4 可跑 7B–13B;INT8 跑 7B。
适合:本地知识库问答、写作助手。
24 GB 及以上
INT4 可跑 32B;FP16 跑 7B–13B 做微调。
适合:LoRA 微调、多轮 Agent、图像生成。
参考现役报价:RTX 4090D 散卡 渠道价 ¥14,200 (↓3%) · 报价源 AI 硬件行情,数据截止 2026-08-30。
三、本地跑还是调 API:临界点怎么算
云端模型比价 →回本 token 数 ≈ 硬件投入 ÷(云端单价 − 本地边际成本)
本地边际成本主要是电费,通常可忽略;所以粗略地:回本量 ≈ 硬件价 ÷ 云端每 token 价。
用现役数据举例:一张 RTX 4090D 散卡(¥14,200)对应 DeepSeek-V4.1-Flash
的输入单价 ¥1.0、输出 ¥4.0。
这条只算"钱",没算隐私、离线可用、延迟、以及你得花时间折腾环境——那部分是另一个账。 本页不替你下结论,只把算式摆出来。
比价数据截止 2026-11-17;单价以厂商官网为准,本站不自动改价。
四、三步跑通(以 Ollama 为例)
- 装运行时:本地推理引擎(Ollama / vLLM / LM Studio),装完会起一个本地 HTTP 服务。
- 拉模型:按上表的显存档位选 INT4 量化版;先跑小模型验证环境,再换大的。
- 接应用:把应用里的 API 地址从云端换成
http://127.0.0.1:端口,模型名改成刚拉的标签即可。
五、已收录的实操案例 3
以上数字来自来源方的实测与自述,本站未做独立复测;引用只为给出量级参考。
缺「具体机型 × 具体模型的吞吐实测」——那需要有人在固定硬件上跑基准,本站目前没有这个条件, 所以不写。等有可复现的实测数据再补,不用推测数字填空。