给那些正在MacBook上运行大语言模型的用户:你是否想要了解,在运行这些模型时,MacBook和专用GPU有什么区别?以及如何判断一台MacBook能最大承载多大规模的模型?
社区讨论:多数人总结,苹果统一内存架构的Mac可以慢速运行大参数大语言模型,但浮点运算性能远不如同价位NVIDIA独立显卡,独立显卡显存较小只能快速运行小参数模型。机器学习工程师普遍推荐在云端基础设施跑大语言模型,速度远快于本地。如果你原本就需要买Mac,本地运行大模型是不错的额外用途,但专门为了跑大模型买Mac不是好选择,建议先租云GPU试用再决定购机。