快讯 23:38乐奇Rokid香港开设全球首家AI眼镜无人体验店,主打自助沉浸式零售23:30阶跃星辰 Step 5 Preview 登陆 FeatherlessAI,FP8 精度开放部署23:19英伟达推出1200亿参数Nemotron 3.5 Super VL,单GPU智能体吞吐量提升5倍 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

论文 今天 · 星期五 · 10-16 08:00 约 1 分钟读完

苹果展示 Mac Studio 集群本地推理 816B 大模型新方案

摘要

苹果机器学习研究团队演示了在 Mac Studio 集群上本地运行 Muse Spark Open 等近万亿参数模型,依托新版 MLX 与 macOS 26.2 的 RDMA over Thunderbolt 驱动,实现 816B 大模型分布式推理。

苹果机器学习研究团队近日公布了一项技术演示,展示如何在 Mac Studio 集群上以本地方式运行参数量接近万亿级别的前沿大模型,其中包括 Muse Spark Open。这一方案的核心在于将多台 Mac Studio 通过高速互联组成计算集群,从而突破单机内存与算力对超大模型推理的限制。

支撑该演示的关键组件有两个:一是苹果当天发布的新版 MLX 机器学习框架,版本号从 v0.30.1 起;二是 macOS 26.2 中引入的 RDMA over Thunderbolt 驱动。前者负责模型的计算调度与内存管理,后者则为集群节点之间提供低延迟、高带宽的远程直接内存访问能力,使多台设备能够高效协同完成推理任务。

从技术路径看,RDMA over Thunderbolt 的加入让 Mac Studio 集群之间的通信不再依赖传统网络协议栈,而是通过 Thunderbolt 接口直接进行内存级数据交换。这对于需要频繁同步中间状态的大模型分布式推理而言,能够显著降低节点间通信开销,是整套方案得以在本地环境跑通 816B 量级模型的重要前提。

此次演示的意义在于,苹果正在将其机器学习工具链从单机场景向多机集群场景延伸。对于关注本地推理与隐私计算的开发者和企业而言,这意味着未来在苹果硬件生态内运行超大规模模型多了一条可参考的技术路线,尽管目前仍处于研究演示阶段,距离产品化落地还有距离。

苹果MLXMac Studio大模型推理
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
23
模型产品档案
60
企业落地案例
13
完整版提示词