目前一款名为“Harbor”的应用,能把多台Mac变成私有AI推理服务器,数据全程留在本地,同时让搭建AI服务器的过程简单不少。
Mac已经成为AI研究的好工具,但还能更好用。苹果正在开发一款应用,只要处理能力和内存够用,就能让本地跑大语言模型(LLM)变得更容易。
据X用户Aaronp613透露,Harbor(此前叫Fabric)就是那款能在Mac上创建私有AI推理服务器的应用。它能在Mac上直接跑开源权重模型,而且据说用起来特别友好。
安装只要几分钟,看起来不用手动配置,也不用碰命令行。Harbor会帮用户管理模型,包括直接处理下载。
如果有多台Mac,可以通过Thunderbolt 5连成集群。Harbor会自动检测到它们,处理设备间连接,并把统一内存池变大。
普通用户短期内可能还见不到这个应用。Harbor目前以苹果Claris品牌进行“私有预览”。
对AI开发来说是个大帮手
跟大多数新技术一样,上手AI并不容易。尤其是不想用云服务的时候。
不是每个人都愿意把数据直接交给OpenAI或Anthropic换服务。自己搭本地LLM服务器能解决这个问题,但硬件成本不低。
同时,把服务器跑起来本身也需要不少工夫。如果你有多台Mac,把它们集群起来处理更重的任务是可行的。
苹果已经提供了一些软件支持,比如MLX用Thunderbolt网络把设备集群起来做这件事。后来苹果又更新了macOS和MLX,加入Thunderbolt 5支持,还引入了基于GPU的神经加速器支持。
2026年10月,它还介绍了新的Minions系统,利用Apple Silicon Mac上的闲置GPU,把它们变成动态虚拟GPU云。
Harbor看起来更关注让事情启动起来,而不是提升AI本身的性能。它可能不会让查询跑得更快,但能让整个系统一开始就更容易上手。