Underdog AI 推出 Saluki 27B:2-bit 量化压缩至 7.89GB,工具调用超越原版
Underdog AI 发布 Saluki 27B,为 Qwen3.8-27B 的 2-bit 量化调优版,体积仅 7.89GB,保留文字 I/O,面向智能体场景。其工具选择与并行调用表现优于全尺寸 Qwen3.8-27B,但数学能力较弱,可直接在标准 llama.cpp 中加载。
人工智能实验室 Underdog AI 于本月发布了一款名为 Saluki 27B 的新模型。该模型基于 Qwen3.8-27B 进行 2-bit 量化与调优,在极低比特压缩下将文件体积控制在 7.89 GB,同时仅保留文字输入输出能力,定位为面向智能体应用的轻量级推理引擎。
据 Underdog 介绍,Saluki 在训练阶段就针对智能体场景做了专门优化,日常推理与工具使用是其强项。在工具选择和多工具并行调用两项关键指标上,Saluki 的表现甚至超过了未量化的全尺寸 Qwen3.8-27B。不过,该模型在数学任务上的表现相对逊色,官方也明确指出了这一取舍。
在部署层面,Saluki 采用标准的 llama.cpp 格式,开发者无需任何自定义编译,即可在原生 llama.cpp 以及基于它构建的各类应用中直接加载运行。这意味着现有 llama.cpp 生态的用户可以较低成本接入该模型,进一步降低了智能体应用的部署门槛。
从行业视角看,Saluki 的发布延续了近期小体积、低比特量化模型在智能体领域的探索趋势。通过牺牲部分数学能力换取工具调用性能的提升,Underdog 试图在资源受限场景下提供一种更务实的方案。目前该模型已在 Hugging Face 平台开放下载,相关技术细节可查阅 Underdog 官网。