Meta跟苹果合作，把自家超大的Muse Spark Open AI模型搬到了M5 Ultra Mac Studio上，开发者现在可以在本地跑高级AI，不用再依赖云服务器了。
10月15日正式公布的Muse Spark Open是一个开放权重AI模型，专门为编程、软件工程以及需要多步骤处理的任务设计。Meta做了这个8160亿参数的模型，但实际处理时只有420亿参数会激活。
想跑这个模型，至少得两台各配512GB统一内存的M5 Ultra Mac Studio，或者四台每台256GB的机器，这些都是苹果最近Mac Studio更新里推出的硬件。四台的配置现在就能买到，但苹果的512GB版本预计要到10月下旬才发货。
Mac Studio是怎么跑下Meta这个超大模型的
这次合作用的是苹果的统一内存架构，CPU和GPU能共用同一块内存池。M5 Ultra最高能给到512GB统一内存，内存带宽达到1.2TB/s。
但就算这么多内存，单台机器也撑不住Muse Spark Open。根据苹果的研究，模型压缩后的权重就占了大约493GB，这还没算上运行时额外需要的内存。
开源的MLX框架负责把Meta模型的工作负载拆到多台Mac上跑。机器之间用Thunderbolt 5和远程直接内存访问（RDMA）通信，这样交换数据时CPU的负担会小很多。
苹果更新了MLX来支持Muse Spark Open，优化了多台Mac之间的通信，还加入了对M5 Ultra GPU神经加速器的支持。这个框架可以把模型拆分到多台电脑上，也能在它们之间分配计算任务来加快速度。
苹果的基准测试显示，四台M5 Ultra Mac Studio在8192 token的上下文下，每秒能生成超过36个token。实际表现会受工作负载和上下文长度影响，但这个速度已经够实用了。
Meta演示了模型完全在本地硬件上处理多个复杂工作流。借助自家的Muse Code开发工具，模型直接改了Ice Cubes（一个开源的iOS版Mastodon客户端），修bug、加功能，还完成了构建。
苹果更新了MLX以支持Muse Spark Open，改进了连接Mac之间的通信。
另一个演示里，Muse Spark Open直接控制DaVinci Resolve来审视频素材、挑出有用片段，再裁成竖屏片段。这些演示说明模型能完成特定任务，但还看不出它在其他工作流里到底有多稳定。
强大本地AI的代价可不小
最大的门槛是硬件。M5 Ultra Mac Studio起价5499美元，但要配上跑Muse Spark Open所需的内存，多机方案轻松就上到几万美元。
这么高的硬件成本，让Muse Spark Open更适合专业开发和科研，而不是偶尔用用。偶尔有需求的开发者可能还是会选托管服务，经常用的人则能省下云端使用费。
考虑到两家公司的过往，这次合作也挺有意思。苹果和Meta以前在隐私、广告限制和平台控制上没少较劲，但在用苹果硬件跑高级AI模型这件事上，利益倒是对齐了。
对苹果来说，Muse Spark Open证明了Mac Studio的AI实力。对Meta来说，这次合作提供了另一种跑模型的方式，不用再依赖云基础设施或专门的GPU服务器。
Muse Spark Open可以在Hugging Face上下载，也支持AMD、Intel和Nvidia的硬件。没有对应设备的开发者，还可以通过托管API服务商来使用。
开放权重不等于随便用。Meta用自己的许可分发Muse Spark Open，很多用途可以免费，但商业方面有限制。
