本地运行270亿参数AI模型,iPhone也能做软件开发
手机上的AI模型通常一次只激活几十亿参数,而云端模型有几百亿甚至更多。差距摆在那儿:手机只能处理语音识别这类轻活,复杂推理必须连服务器。
一家叫PrismML的初创公司正在填这个沟。它把阿里巴巴开源的大模型Qwen 3.6——270亿参数——压缩到能在iPhone 17 Pro上运行,还宣称智能水平跟云端版本差不多。也就是说,手机自己就能干软件开发这类事,不用连服务器。数据不出设备,响应更快,隐私也更安全。
苹果已经跟PrismML见过面,聊怎么用它的技术。苹果在设备端AI上一向谨慎,但投入不小:最大一笔AI收购是Q.ai,据说是20亿美元;跟谷歌合搞的Siri AI下个iOS 27大版本会出来。
PrismML计划7月14日发布开源模型,到时候开发者可以自己验证。不过目前还有几个关键问题没答案:270亿参数全激活下,iPhone 17 Pro的功耗和发热到底怎么样?本地跑的智能水平真能跟云端持平吗?苹果到底是会收购它,还是只当个技术供应商——都不明朗。
原文来源
9to5Mac