苹果新框架Core AI让你手机App离线也能跑AI模型
mjtsai.com
苹果推出了一款名为 Core AI 的新框架,专门把 AI 模型直接放进 iPhone、Mac 的芯片里跑,不用联网上传数据。
用 App 里那些 AI 功能——比如照片识别、语音助手——会变得更流畅,不依赖网络。数据不出设备,隐私也留在了本地。
Core AI 把整套开发工具打包在了一起。开发者可以用 Python 库来转换、编写和优化模型,也能用 Swift API 实现“即插即用”的推理,对延迟和内存要求高的场景也能控制到位。苹果说,几行代码就能把模型集成进 App。
Xcode 集成得很深。模型在编译阶段就能提前处理,减少首次加载时间。Core AI 还提供了一个模型仓库,里面有 Qwen、Mistral、SAM3 等开源模型,都针对 Apple silicon(CPU、GPU 和神经引擎)做了优化。开发者直接在 Mac 上下载、运行、基准测试,然后放进自己的 App。
为了让模型跑得更高效,Core AI 允许用自定义 Metal 内核来编写模型,同时提供平台感知的压缩策略——根据芯片特性自动调整模型大小和计算量,减少电池消耗。
调试工具也没落下。新的 Core AI Debugger 能做深度内部分析,还有 AI 辅助工作流,从概念到优化后的设备端执行一路引导。在 Xcode 里可以直接分析运行时性能并调整。
这套框架让开发者把流行 AI 模型装进 App 的门槛降了下来。用户很快就能在常用软件里体验到更智能、不联网也管用的功能,而且不怎么耗电。
相关话题
# 苹果
原文来源
mjtsai.com