苹果发布iOS 18.1开发者测试版，上线Apple Intelligence的首个版本，同时47页的苹果自研大模型技术报告重磅发布。

　　Apple Intelligence首个版本上线了以下AI功能：

　　1、Siri升级。Siri唤醒后具备屏幕边缘发光特效，能理解用户表述不通顺的指令，且能回答关于苹果产品故障解决的相关问题。

　　2、写作工具升级。新版iOS提供苹果的文本生成服务;同时支持AI生成邮件、信息，语音转录摘要等功能。

　　3、视图工具升级。该版本提供更智能的图片搜索及电影回忆制作功能。

　　仍有不少苹果在6月发布的AI功能未出现在iOS 18.1开发者测试版(《苹果AI一夜颠覆所有!Siri史诗级进化，内挂ChatGPT-4o，奥特曼来了，马斯克怒了》)，苹果称计划在明年推出，包括：

　　1、Siri的其他改进，包括个人信息分析，联动外部应用执行任务等。

　　2、图像视觉生成功能，包括表情符号的生成，以及自动清理照片等视图相关能力等。

　　3、OpenAI旗下ChatGPT的集成等。

　　iPadOS 18.1、macOS Sequoia 15.1也植入了相关Apple Intelligence新功能，不过它们目前都仅向每年支付99美元的注册苹果开发者开放。

　　在今天发布的论文中，苹果透露了其两款苹果基础模型(Apple Foundation Model，简称“AFM”)。

　　论文链接：https://machinelearning.apple.com/papers/apple_intelligence_foundation_language_models.pdf

　　一个是30亿参数的端侧模型AFM-on-device，经优化可在iPhone和其他设备上高效运行;另一个是云端模型AFM-server，尚未公布模型参数。

　　报告首次对AFM的模型架构、训练数据、训练过程、推理优化及评估结果进行了解读，并提到背后模型的训练采用的是累计10240颗谷歌TPU，而未提及英伟达GPU。

　　根据论文描述，苹果自研大模型在指令遵循、文本总结方面测试超GPT-4。

　　一、苹果AI上机首秀：Siri“变身换脑”，写作一键润色

　　本次，苹果iOS 18.1开发者测试版上线的Apple Intelligence功能，主要覆盖Siri、写作工具、邮件提要、照片自然语言搜索等方面。

　　1、整个屏幕闪起光环，Siri变身

　　Siri的变化首先是新外观，此前屏幕上出现的圆形光斑，被环绕屏幕的发光灯取代，以表示助手处于活动状态。

　　当开发者不想大声对Siri说话时，开发者可以从语音命令切换到键入：双击iPhone或iPad屏幕底部即可调出键盘，用于输入Siri查询和命令。

　　Siri已经能够理解多个指令上下文。例如，开发者可以要求Siri创建日程，然后要求创建提醒，而无需重复前面说的话。

　　2、写作工具上线，润色语句、邮件提要

　　写作工具是Apple Intelligence的一大卖点，支持开发者就语气和措辞提出建议，校对文本并总结要点。

　　录音转录功能也已经可以体验，在iOS 18.1开发者测试版，语音备忘录应用程序以及Notes应用已经内置了录音转录功能。

　　写作功能既适用于苹果设备的内置应用程序，也可用于使用标准输入文本系统的第三方应用程序。

　　邮件应用现在会智能识别优先邮件，并将在收件箱顶部出现提醒浮窗，以提醒开发者特定的截止日期，或避免忘记一些重要行动事项。

　　此外，新版本还支持专注模式，称为“减少干扰(Reduce Interruptions)”，该模式将使用AI识别过滤重要的通知。

　　3、自然语言交互搜索照片，AI生成短片

　　开发者已经能够使用自然语言查找视频和照片。比如查询“我女儿吃芝士汉堡的照片”，苹果将提供对应的搜索结果。它应该可以更轻松地在视频中找到特定图像或确切时刻，而无需使用更通用的关键字。

　　新的电影回忆(Movie memories)功能可让开发者输入特定提示，使用照片应用中存储的照片和视频制作电影。

　　开发者可以输入自己的提示或使用Apple Intelligence建议的提示词，获得智能生成的电影，影片具有明确的章节和主题。

　　Apple Intelligence这些已上线的功能仍有一些使用限制。

　　目前，Apple Intelligence仅向每年支付99美元的注册苹果开发者开放，包括面向iOS、iPad和Mac的三个版本。开发者需要将设备区域设置为美国，语言设置为美国英语。

　　此外，此前6月报道曾提到，Apple Intelligence要求设备达到iPhone 15 Pro、iPhone 15 Pro Max或配备M1的iPad和Mac及以上配置。

　　二、47页论文解读苹果大模型，文本总结等测试超GPT-4

　　相比于当下各家的AI手机，苹果自研模型的一大特点，是推出在设备上运行的端侧模型。

　　根据苹果今日最新发布的论文，该端侧模型名为AFM-on-device，包含约30亿参数，远小于OpenAI和Meta等公司模型的千亿参数级别。

　　为了执行更复杂的任务，苹果也开发了云端模型AFM-server。虽然具体大小尚未透露，但它旨在使用名为“私有云计算(Private Cloud Compute)”的系统在苹果的云基础设施中运行，以保护用户数据。

　　如下图所示，AFM-on-device在人类测试中超越了Phi-3-mini、Mistral-7B、Gemma-2B等开源模型，接近Llama-3-8B的水平。

　　AFM-server在人类测试中超越Llama-3-70B、Mixtral-8x22B、GPT-3.5等闭源模型，接近GPT-4的能力。

　　同时，在指令遵循方面，AFM-server测试超GPT-4.AFM-on-device则超越了Llama-3-8B、Phi-3-mini等开源模型。

　　在文本总结方面，AFM两个版本也实现领先。

　　在架构方面，这两个基础模型包括一个基于AFM语言模型的编码模型，用于将智能融入Xcode，以及一个扩散模型，以帮助用户生成一些视觉内容。

　　其中，AFM基础模型是仅解码器的密集模型，它们建立在Transformer架构之上，并做了一些设计优化，包括分组查询注意力(GQA)、SwiGLU激活函数等。

　　研究人员在论文中解释道，Apple Intelligence由多个高性能生成模型组成，这些模型快速、高效、专门用于用户的日常任务，并且可以根据用户操作进行动态调整。

　　苹果展示了其模型开发的流程，强调从数据收集到模型部署的每个阶段，其都遵循负责任的AI原则。

　　在模型训练方面，苹果云端大模型采用了8192颗TPUv4芯片，端侧采用了2048颗TPUv5p芯片，并未用到英伟达GPU。

　　模型训练后工作包括一系列数据收集和生成、指令调优和对齐创新，涉及监督微调(SFT)和基于人类反馈的强化学习(RLHF)两个阶段，提高模型遵循指令、推理和写作方面的能力。

　　据称，这些模型是在多样化的数据集上进行训练的，包括网页、来自出版商的授权内容、代码存储库以及专门的数学和科学数据。苹果称其未使用私人数据训练模型。

　　结语：苹果AI首登iPhone，秀自研模型“肌肉”

　　时隔一个月，苹果终于上线了首批Apple Intelligence能力，在Siri、写作工具、视图检索等方面首先更新;与此同时，苹果两款自研模型曝出，让我们对Apple Intelligence的核心模型有了深入了解，并不是有媒体传的“ChatGPT套壳”，展现出有别于其他手机玩家的差异化打法。

　　不过，当下Apple Intelligence能力仅部分开发者可以用到。据外媒报道，苹果仍在修复许多新功能的漏洞，因此用户将不得不等待才能测试这些功能。苹果将会带来什么样的AI手机体验?我们拭目以待。