苹果 CoreAI 端侧 AI 架构测试:M4 Mac 上 Qwen3 0.6B 解码速度是 MLX 的 2.47 倍

趣百科 新闻资讯 1

6 月 11 日消息,科技媒体 Wccftech 昨日(6 月 10 日)发布博文,报道称在 2026 年全球开发者大会(WWDC)上,苹果推出 CoreAI 引擎,接替 2017 年推出的 CoreML 框架,主打端侧大模型推理。

援引博文介绍,CoreML 框架已服役 9 年,主要面向图像分类等小型静态任务;而最新接棒的 CoreAI 主要面向端侧本地推理和边缘 AI 场景,重点优化设备端大语言模型推理,重点支持更灵活的模型格式和更大的模型内存占用。

而 MLX 是苹果生态中的一个机器学习框架,更偏向研究、训练和微调任务,常被开发者拿来测试和部署本地大模型。

从首批基准来看,苹果 CoreAI 呈现“小模型强、大模型接近持平”特征。在 M4 Mac 上运行 Qwen3 0.6B 模型后,CoreAI 解码速度约为 MLX 的 2.47 倍。在 iPhone 17 Pro 上,这一优势约为 1.6 倍。

解码速度指大语言模型生成文本时,每秒能输出多少个 token,常写作 tok/s。这个指标越高,模型回复通常越快,用户等待时间越短。

在模型规模提升至 80 亿参数(Qwen3 8B,M4 Max)后,CoreAI 比 MLX 快 5%,两者解码性能几乎持平,意味着 CoreAI 的性能优势随模型规模增大而收窄。

在持续负载方面,测试显示,iPhone 17 Pro 的 GPU 在长时间运行后会较快触发温控降频,这会削弱 GPU 路线的持续吞吐。CoreML 配合苹果神经引擎(ANE,Apple Neural Engine)的组合在性能保持率方面实现反超。

横向对比其他厂商方案,针对特定模型深度优化的引擎依然更容易胜出。比如,谷歌的 LiteRT-LM 运行 Gemma 时,在 iPhone 17 Pro 上达到每秒 55.4 tokens,并且 RAM 占用仅 641 MB;作为对照,苹果 MLX 的内存占用为 2900 MB,是前者的 4.5 倍。