OWC全新Stack AI加速器引爆关注:本地大模型速度飞跃,我们却满腹疑问

OWC Stack AI承诺通过Thunderbolt技术扩展Mac的GPU内存,让本地处理大型LLM变得更轻松。我们对此有很多疑问。

AI行业主要由大型AI玩家主导,包括OpenAI、Perplexity和Anthropic等。然而,使用它们可能会变得昂贵,尤其是对于拥有海量工作负载和企业客户的用户。

降低成本的一种方法是将AI本地化,在计算机上而不是服务器上运行AI模型。但问题在于所需硬件的昂贵成本。而且,云端模型也存在隐私问题。

针对这一限制,有一些变通方法,例如通过Thunderbolt 5连接多台Mac来共享内存和计算性能的项目。

然而,OWC认为它能做得更好。

OWC Stack AI的内存增强

OWC Stack AI,或者说Thunderbolt 5 AI加速器和存储集线器,看起来很像老式Mac mini。它是一个不起眼的铝制方块,你可以把Mac Studio堆叠在上面,类似于其他一些扩展坞和集线器。

通过Thunderbolt 5连接到Mac,它提供了一定的存储容量,但真正的好处是它扩展工作GPU内存的能力。实际上,它使用板载高速闪存来扩展PC显卡的VRAM,最终也适用于Apple Silicon。

有了更多可用内存,OWC表示主机可以处理远大于显卡VRAM容量的大型语言模型(LLM)。

这与使用eGPU外壳连接Mac不同。根据OWC的描述,AI Stack作为外部内存增强设备工作,而不是外部处理器。

OWC的公告解释说,Stack AI将首先支持Windows和Linux,Mac支持预计在未来某个时间推出。

该公司表示,Thunderbolt 5连接性和小巧尺寸使其成为便携且可转移的设备。它可以在笔记本之间移动,甚至在团队成员之间共享。

在AI生态系统中,OWC保证它将在发布时支持众多AI代理和应用程序,包括OpenClaw。

我们已向OWC询问更多信息,包括Stack AI的工作原理、Mac支持的延迟、规格、价格等。如果得到回复,本文将更新更多信息。

OWC确认它将参加6月2日开始的台北Computex贸易展。到那时,除了早期第四季度发布目标之外,将会出现更多关于硬件的具体细节。也许吧。

本地处理优势

OWC对Stack AI及其价格的细节披露较少。我们认为它在AI研究中具有极大潜力。当然,它对企业来说会是个好工具,根据价格,在当今时代也许对其他人也有用。

本地AI处理的主要问题是拥有足够的RAM来容纳用户想要使用的模型。另一个问题是处理查询,一旦有了可用内存。

当前的集群项目运行良好,通过Thunderbolt相互连接来共享核心和内存。这对资金紧张的用户来说是个问题,他们无法负担数万美元的高内存Mac。

可以论证的是,随着M5芯片的推出,Apple已在很大程度上解决了处理方面的问题。M5 GPU每个GPU核心中的神经加速器意味着有更多的机器学习处理能力可用。

这使得本地处理任务可以用更少的资源做更多事情。但它只改进了处理本身,而没有解决内存限制。

当Apple推出M5版本的Mac mini和Mac Studio时,将有类似的高内存容量选项。但同样,由于行业趋势,它们价格会极其高昂。

2026年5月,Apple的内存价格还算合理。目前尚不清楚这种情况会持续多久,因为影响整个行业的持续内存危机。

有了像Stack AI这样的产品,你可以购买一台具备所需处理和GPU的M5 Mac,而不一定需要那么多内存。Stack AI会为你处理这部分。

然而,这确实要求OWC将价格定在消费者愿意选择这条路的合理水平。OWC对内存的价格敏感度和其他公司一样,这种敏感度最终会影响Stack AI的售价。

更新 5月28日 上午10:05 ET OWC创始人兼CEO Larry O’Connor连夜回复了我们。为清晰起见,我们将直接引用O’Connor先生的原话。

我们:“阅读发布内容,似乎是通过Thunderbolt 5使用闪存扩展VRAM。是这样吗?”

OWC:

“不完全是。我们不会假装Thunderbolt 5能突然把闪存变成原生GPU RAM,因为物理原理仍然重要,没有什么能取代直接位于GPU上的内存。OWC Stack AI解决的是更大的现实世界问题,即大多数现有系统一旦耗尽板载内存资源,就完全无法本地运行更大的AI模型。Stack AI通过超快的Thunderbolt 5连接和高速闪存扩展系统的有效工作内存,让更大模型、更长会话和更 demanding 的本地AI工作流能够实际完成,而不是崩溃、卡顿或回退到云端。”

我们:“另外,我看到macOS支持计划稍后推出。有原因吗或者时间表?”

OWC:

“至于Mac支持,这绝对是路线图的一部分。目前优先确保平台稳定发布并交付我们承诺的体验,因为AI生态系统、驱动程序、框架和模型栈正在以难以置信的速度发展。我们希望首先围绕选定的Windows和Linux系统进行初始验证,然后随着平台成熟扩展支持。我们尚未公布具体的Mac时间表,但计划在未来版本中推出。”

Related Posts

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注