Thinking Machines Lab 开源 Inkling 2 Mini,26.4B 参数模型可本地运行
摘要
Thinking Machines Lab 发布开源权重模型 Inkling 2 Mini,采用循环 Transformer 架构,中间 12 层每 token 运行三次,总参数 26.4B、激活参数 3.4B,内存占用约 20GB,可在 32GB 内存以上的 Mac 上本地运行。
开源模型阵营再添新成员。Thinking Machines Lab 近日发布开源权重模型 Inkling 2 Mini,其架构选择与部署门槛成为关注焦点。
该模型采用循环 Transformer 架构,核心设计在于将中间 12 层对每个 token 重复运行三次,以此在有限参数规模下扩展计算深度。规格方面,Inkling 2 Mini 总参数为 26.4B,激活参数为 3.4B。
部署条件上,模型内存占用约 20GB,这意味着配备 32GB 及以上内存的 Mac 设备即可在本地运行。对于希望将模型能力下沉到个人终端的开发者而言,这一门槛具备实际可操作性。
在开源权重模型竞争日趋激烈的背景下,Inkling 2 Mini 以循环架构和本地可运行特性切入,其后续在实际任务中的表现值得持续观察。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗