大模型本地部署长期受限于显存容量，千亿参数模型通常需要数十GB显存才能运行，普通消费级显卡难以企及。近日，小众软件报道了一种名为Strata的方案，声称可在8GB显存设备上运行千亿参数大模型。

据该报道实际测试，Strata在多种显卡上均可行，包括NVIDIA的RTX 5070、RTX 3060、RTX 4060 Ti、RTX 3090，以及AMD的RX 9070 XT、RX 9060 XT、RX 7800 XT。测试还覆盖了多年前的Quadro系列显卡，表明该方案对硬件代际的兼容性较广。

若该方案得到更广泛验证，意味着用户无需购置高价专业级GPU，即可在普通电脑上部署千亿参数级别的大模型，这将显著降低大模型本地推理的硬件门槛，对个人开发者和中小团队具有实际意义。