Strata 0.2.9 更新:本地大模型 Prefill 提速最高 88%,新增 1 比特 DeepSeek 支持
摘要
本地大模型运行工具 Strata 发布 0.2.9 版本,Prefill 阶段最高提速 88%,并新增对 1 比特 DeepSeek 模型的支持,进一步降低本地部署大模型的硬件门槛与推理等待时间。
面向本地大模型运行场景的软件 Strata 于今日推送 0.2.9 版本更新。该工具以高频迭代著称,此次更新延续了此前优化本地推理效率的方向,重点落在 Prefill 阶段的性能提升上。
根据官方信息,0.2.9 版本在 Windows 环境下将 Prefill 速度最高提升 88%。Prefill 是模型处理输入提示词、生成首个 token 前的关键阶段,其耗时直接影响用户从提交请求到看到首字输出的等待体验,这一环节的提速对长提示词场景尤为关键。
除性能优化外,新版本还加入了对 1 比特 DeepSeek 模型的支持。1 比特量化意味着模型权重以极低精度存储,可显著压缩模型体积与显存占用,使本地设备运行大模型的门槛进一步下探。
对 AI 行业从业者而言,Strata 0.2.9 的两项变化分别指向推理效率与部署成本:Prefill 提速改善交互响应,1 比特模型支持则扩展了可运行模型的边界,为本地化推理方案提供了新的组合选项。
本文由新大陆基于公开信息编辑整理
信息来源:小众软件 小众软件 ↗