多台Mac Studio组集群跑大模型,推理速度快3倍
苹果今天发了新款Mac Studio,可选M5 Max或M5 Ultra芯片。M5 Ultra是苹果迄今最强大的芯片。
多台新机可以通过Thunderbolt 5和RDMA连成集群,共享内存池,用来跑更大的AI模型。苹果给的数字是,四台组集群,AI推理比单台快3倍。共享内存池的好处是,能加载目前最大、最吃资源的前沿级开放权重模型。
对AI开发者和研究者来说,这条路能绕开昂贵的专用AI服务器。几台Mac Studio共享内存,就能把这些模型跑起来。不过苹果没说明两件事:集群功能是否所有配置都支持,要不要额外软件。集群方案和专用服务器的成本对比,也没公布。
新款Mac Studio的其它硬件也有升级。SSD架构换到PCIe Gen 6,速度是之前的两倍。Thunderbolt 5端口带宽最高120Gb/s,还支持Wi-Fi 7和蓝牙6。
一同发布的还有新款Mac mini,可选M6或M5 Pro芯片。另外是价格更低的新版抛光布,以及更新的Mac妙控键盘。Mac Studio和Mac mini的预购已上线,苹果在线商店和Apple Store应用都有。这次预购覆盖美国及其它30个国家和地区。大多数配置9月22日发货,当天也会在Apple Store零售店和Apple授权经销商处开卖。
原文来源
MacRumors