开发者同时在四台本地Mac上运行AI代理 耗尽所有内存
我目前同时在四台本地Mac上运行AI代理,每台机器的内存都已经被完全占满。
@thsottiaux的观点完全正确:我们需要脱离在本地机器运行AI代理的模式。当你同时运行上百个AI代理、完成复杂度不断提升的任务时,本地内存和CPU就会成为瓶颈。
每一次新模型发布都会拓展可完成任务的范围,也让我能同时使用更多AI代理。几个月前我只用一台机器就能正常工作,Fable发布后我新增了两台机器。现在我能同时处理更多任务,于是又添置了一台Mac,还在考虑再买一台。
我不得不搭建了一套异常复杂的环境,才能同时管理所有机器上的所有AI代理。我不推荐任何人采用这种方案,它完全不可持续。我猜测,很多在推进这类模型研究的开发者很快都会遇到和我一样的问题,普通用户之后也会碰到。
今年早些时候,我搭建了Agent-S,它本质上是Grok Bot的前身,为每个AI代理分配一台可按需扩展CPU、内存和硬盘的云Linux机器,@daytonaio让这项工作变得很简单,当时我觉得这就是未来方向,但那时候模型能力还没跟上。
现在来看,模型能力已经达标,配套产品需要跟上进度。如果按照现在的趋势发展,一年后我的衣柜里就会塞着50台满负载运行的MacBook,如果真变成那样,麻烦谁来打我一拳。
需要有企业站出来,朝这个方向开发产品,那些做对方向的企业,会在未来一年获得极大的成功。
需要说明的是,已经有人发私信问我,我并没有使用本地模型,多数本地模型表现不佳。我这里纯是用Claude Code和Codex这类工具调度前沿大模型。
一个Claude Code会话占用的内存量会超出很多人的预期,试想同时运行多个会话,每个会话还要运行多个子代理的场景。我会在通讯简报中分享更多相关内容,可以免费订阅: