Unsloth 推出 Mistral Large 4 动态 1-bit 量化版，1T 参数模型可本地运行
摘要
Unsloth 发布 Mistral Le Chonk（Mistral Large 4）Dynamic 1-bit GGUF 量化版本，使这款 1T 参数 MoE（52B 激活）模型可在 Mac Studio 本地运行。量化后体积约 233GB，较 1.1TB FP8 缩减 80%，保留 91% top-1 准确率，运行需 256-270GB 内存。
大模型本地部署的门槛正在被量化技术持续压低。Unsloth 近日针对 Mistral Le Chonk（即 Mistral Large 4）推出 Dynamic 1-bit GGUF 量化版本，让这一总参数达 1T、激活参数 52B 的 MoE 模型具备了在单台 Mac Studio 上运行的可能。
从量化效果看，该版本保留了 91% 的 top-1 准确率，体积压缩至约 233GB，相比 1.1TB 的 FP8 版本缩小约 80%。其中最小的 UD-IQ1_S 档位磁盘占用约 233GB，而 1-bit 量化运行所需内存为 256-270GB，Unsloth 同时给出了各量化档位对应的硬件需求参考。
在能力层面，该量化模型延续了原版的多模态与长上下文特性，支持文本与图像输入、1M 上下文窗口以及 160 种以上语言。相关 GGUF 文件与使用指南已分别发布在 Hugging Face 的 unsloth/Mistral-Large-4-1T-A52B-GGUF 仓库和 unsloth.ai 的模型文档页面。
对希望以消费级或工作站级硬件承载超大规模模型的团队而言，这一方案提供了一条在精度损失可控前提下降低显存与存储开销的路径，也让 1T 级 MoE 模型的本地实验不再完全依赖数据中心级资源。
本文由新大陆基于公开信息编辑整理
信息来源：AIHOT AIHOT原文 ↗