快讯 22:26李在明视察蔚山在建数据中心,强调AI竞赛速度决定成败08:00Together AI 披露提示词泄露事件:编码 agent 误传凭证致样本外泄08:00Qwen4 Max登陆Together AI,1M上下文加持整仓bug修复 全部快讯 →

小模型应用

本地能跑多大 · 要什么卡 · 值不值得自己跑 —— 所有数字都附公式,不做"神秘 benchmark"

先给结论:显存是唯一硬门槛。

参数量 × 每参数字节 = 权重显存,再留约 15% 给 KV cache 与框架开销。 下面的表是这么算出来的,你可以拿计算器复核——比看任何"实测跑分"都可靠。

一、显存估算表 7 档规模 × 3 种量化

模型规模FP16(2 字节/参数)INT8(1 字节)INT4(0.5 字节)说明
1.5B 3.4 GB 1.7 GB 0.9 GB 单卡消费级可跑
3B 6.9 GB 3.4 GB 1.7 GB 单卡消费级可跑
7B 16.1 GB 8 GB 4 GB 单卡消费级可跑
8B 18.4 GB 9.2 GB 4.6 GB 单卡消费级可跑
13B 29.9 GB 14.9 GB 7.5 GB 需大显存或多卡
32B 73.6 GB 36.8 GB 18.4 GB 需大显存或多卡
70B 161 GB 80.5 GB 40.3 GB 需多卡/服务器卡

公式:显存 ≈ 参数量 × 每参数字节 × 1.15。 实际还要加上 KV cache(随上下文长度与并发线性增长,长上下文场景可能再多出数 GB)与框架预留。 上表是下限,不是保证值。

二、按显存档位看能跑什么

现役显卡报价 →

8 GB 档

INT4 可跑 3B–7B;FP16 只够 3B。
适合:分类、抽取、轻量 Agent 工具调用。

12–16 GB 档

INT4 可跑 7B–13B;INT8 跑 7B。
适合:本地知识库问答、写作助手。

24 GB 及以上

INT4 可跑 32B;FP16 跑 7B–13B 做微调。
适合:LoRA 微调、多轮 Agent、图像生成。

参考现役报价:RTX 4090D 散卡 渠道价 ¥14,200 (↓3%) · 报价源 AI 硬件行情,数据截止 2026-08-30。

三、本地跑还是调 API:临界点怎么算

云端模型比价 →

回本 token 数 ≈ 硬件投入 ÷(云端单价 − 本地边际成本)

本地边际成本主要是电费,通常可忽略;所以粗略地:回本量 ≈ 硬件价 ÷ 云端每 token 价。 用现役数据举例:一张 RTX 4090D 散卡(¥14,200)对应 DeepSeek-V4.1-Flash 的输入单价 ¥1.0、输出 ¥4.0。

这条只算"钱",没算隐私、离线可用、延迟、以及你得花时间折腾环境——那部分是另一个账。 本页不替你下结论,只把算式摆出来。

比价数据截止 2026-11-17;单价以厂商官网为准,本站不自动改价。

四、三步跑通(以 Ollama 为例)

  1. 装运行时:本地推理引擎(Ollama / vLLM / LM Studio),装完会起一个本地 HTTP 服务。
  2. 拉模型:按上表的显存档位选 INT4 量化版;先跑小模型验证环境,再换大的。
  3. 接应用:把应用里的 API 地址从云端换成 http://127.0.0.1:端口,模型名改成刚拉的标签即可。

五、已收录的实操案例 3

单张 RTX 4090 微调 Mistral 7B:条款识别准确率 54% → 89%
RTX 4090 跑 Llama-2-7B QLoRA:4—6 小时训完 5 万条
本地推理实测:同一张 4090,7B 跑 95 tok/s,72B 只剩 12 tok/s

以上数字来自来源方的实测与自述,本站未做独立复测;引用只为给出量级参考。

这一页还缺什么(如实说明)

缺「具体机型 × 具体模型的吞吐实测」——那需要有人在固定硬件上跑基准,本站目前没有这个条件, 所以不写。等有可复现的实测数据再补,不用推测数字填空。

213
收录 AI 工具
27
模型产品档案
60
企业落地案例
33
完整版提示词