Unsloth 推出 MiniMax-M3.1-Flash 量化 GGUF，2-bit 版本可本地运行
摘要
Unsloth 发布 MiniMax-M3.1-Flash 的量化 GGUF 模型，2-bit 版本体积缩小 45%，保留 91.5% top 1 精度，可在 150GB 内存上本地运行；1-bit 版本精度约 89.9%，4-bit UD-Q4_K_XL 达 98.0%。作者称其为同尺寸最强开源模型之一，并提供了 Hugging Face 权重链接与本地运行指南。
Unsloth 近日发布了 MiniMax-M3.1-Flash 的量化 GGUF 版本，为希望在本地部署该模型的开发者提供了新的选择。此次发布涵盖多种量化精度，重点在于平衡体积压缩与精度保留。
从具体数据看，2-bit 版本在体积缩小 45% 的同时，保留了 91.5% 的 top 1 精度，并可在 150GB 内存上本地运行；1-bit 版本的精度约为 89.9%；4-bit UD-Q4_K_XL 版本则达到 98.0% 的精度水平。不同量化档位对应不同的资源与精度取舍。
Unsloth 作者将这一模型称为同尺寸最强开源模型之一，并随发布提供了 Hugging Face 权重链接与本地运行指南，方便开发者按需获取和部署。
对于关注本地推理的 AI 从业者而言，此次量化发布的意义在于：2-bit 版本以 45% 的体积缩减和 91.5% 的精度保留，将 MiniMax-M3.1-Flash 的本地运行门槛拉低至 150GB 内存区间，为资源受限场景提供了可参考的部署路径。
本文由新大陆基于公开信息编辑整理
信息来源：AIHOT AIHOT原文 ↗