苹果详细介绍了一种名为Minions的新系统,它利用Apple Silicon Mac中闲置的GPU,创建一个虚拟GPU云,聚合未使用的处理能力来处理复杂的AI工作负载。
苹果将其描述为一种动态虚拟GPU云,能够“聚合跨Mac的闲置Apple Silicon GPU”,Minions可以帮助需要处理大规模机器学习推理工作负载的团队。苹果的研究人员已经在内部使用Minions。
理论很简单。Mac拥有强大的GPU,但大部分时间都处于闲置状态,尤其是在日常计算任务中。
Minions旨在利用未被使用的GPU处理能力,将原本利用不足的Mac转变为AI就绪的机器集群。
Mac mini和Mac Studio都支持通过使用Thunderbolt 5连接的远程直接内存访问(RDMA)系统进行集群。这些高带宽电缆允许将多台机器的计算和内存组合起来,用于单一工作负载。
Minions是这一概念的扩展。
Minion的组件
苹果的文档解释说,Minions运行需要四个关键组件。
首先,Minions服务器充当中央协调器,通过基于Web的界面和API处理所有请求。一旦任务交给Minions服务器,所有内容就会被移交并排队到PostgreSQL元数据存储中。
Minion执行器运行在macOS设备上,这些设备的GPU周期将被收获用于Minions系统。这些执行器使用Apple Silicon GPU在本地执行子任务,然后将结果写入存储。
如果发生故障,例如连接故障或断电,Minion看门狗会将失败的任务重新排队,在另一台机器上执行。
整个过程会反馈到仪表板进行实时监控。
苹果认为,根据其经验,Minion已经证明macOS设备可以在需要时转变为分布式GPU推理平台。
苹果还表示,在其测试中,一些之前需要超过10小时的推理任务已被缩短到仅仅几分钟。而且这一切无需额外基础设施,并易于扩展规模。
何时需要这将因用例而异。但很容易想象一个充满Mac的办公室以这种方式收获其GPU周期,因为“Minions”方法似乎不需要Thunderbolt。
对于企业来说,像Minions这样的好处是显而易见的。在不必购买额外硬件的情况下缩短处理时间总是一个加分项,尤其是在价格持续飙升的情况下。
一些企业也可能将此视为在刷新时购买苹果设备的一个好理由。这是苹果肯定会鼓励的。