快讯 23:56五大科技巨头AI基建承诺超3万亿美元,谷歌独占1万亿23:56五大科技巨头AI基建投入承诺超3万亿美元,谷歌独占1万亿21:49刚刚,DeepSeek重磅开源:Agent底座架构! 全部快讯 →

提示词

可复用 Prompt · 使用说明 · 效果对比 · Agent 抓取 + 智能改写

小众软件 · 17:11 约 1 分钟读完

Strata 0.2.9 更新:本地大模型 Prefill 提速最高 88%,新增 1 比特 DeepSeek 支持

摘要

本地大模型运行工具 Strata 发布 0.2.9 版本,Prefill 阶段最高提速 88%,并新增对 1 比特 DeepSeek 模型的支持,进一步降低本地部署大模型的硬件门槛与推理等待时间。

面向本地大模型运行场景的软件 Strata 于今日推送 0.2.9 版本更新。该工具以高频迭代著称,此次更新延续了此前优化本地推理效率的方向,重点落在 Prefill 阶段的性能提升上。

根据官方信息,0.2.9 版本在 Windows 环境下将 Prefill 速度最高提升 88%。Prefill 是模型处理输入提示词、生成首个 token 前的关键阶段,其耗时直接影响用户从提交请求到看到首字输出的等待体验,这一环节的提速对长提示词场景尤为关键。

除性能优化外,新版本还加入了对 1 比特 DeepSeek 模型的支持。1 比特量化意味着模型权重以极低精度存储,可显著压缩模型体积与显存占用,使本地设备运行大模型的门槛进一步下探。

对 AI 行业从业者而言,Strata 0.2.9 的两项变化分别指向推理效率与部署成本:Prefill 提速改善交互响应,1 比特模型支持则扩展了可运行模型的边界,为本地化推理方案提供了新的组合选项。

Strata本地大模型PrefillDeepSeek
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
23
模型产品档案
60
企业落地案例
27
完整版提示词