大家好,我是元峰,22 颗 AI 之心持有者。昨晚的苹果全球开发者大会 (WWDC) 无疑成为了科技界的一大盛事,让无数开发者和科技爱好者度过了一个激动人心的不眠之夜。
苹果公司,这个向来以神秘和谨慎著称的科技巨头,在 AI 领域的沉默终于被打破,他们不再只是旁观者,而是以一种全新的姿态,强势进军 AI 领域。
在这场备受瞩目的全球开发者大会上,苹果公司终于揭开了 Apple Intelligence 的神秘面纱。这项全新的 AI 功能,标志着苹果在人工智能领域的重大突破,它将被深度集成到 iOS 18、iPadOS 18 和全新的 macOS Sequoia 中,为用户带来前所未有的智能体验。

以下是 WWDC 2024 主题演讲主要内容摘要,他们先讲一系列系统更新,最后才开始谈AI。但,前面的各种 OS 除了常规更新,没什么令人眼前一亮的,昨晚蹲发布会差点都睡着了,就不多讲了。

本文我会先介绍苹果在 AI 领域的革新!
Apple Intelligence
这里的 AI 已经被苹果改写,不是我们常规见到的 AI(Artificial Intelligence)而是苹果新造的概念:苹果智能 Apple Intelligence 。

以下是 Apple Intelligence 的主要亮点:
语言理解和创作
- 全新的系统级写作工具,集成在邮件、备忘录、Pages 等应用中,可实现一键重写、校对和总结文本的功能。
- 在邮件应用中,可查看收件箱摘要,获得智能回复建议。
- 在备忘录和电话应用中,可录制、转录和总结音频内容。 图像生成和编辑
- "图像游乐场"功能,可根据现有照片和文本提示生成自定义表情包等图像。
- 照片编辑功能升级,可识别并移除照片背景中的干扰物体。
- "回忆"功能可根据用户输入的描述,利用现有图库创建"具有独特叙事弧线的电影"。 Siri 升级
- Siri 获得全新外形和功能升级,能在苹果和第三方应用中执行数百种新操作。
- 未来将加入屏幕感知功能,能实时理解用户在应用中的操作并作出反馈。
先看一段 5 分钟的总结版视频,一饱眼福。
个性化智能
- 重要通知自动进入前台

了解个人背景(通过设备上的应用程序)
以后可能最了解你的不是你妈妈,而是你的 iPhone 了。

通话录音并转换为笔记

Siri 与 ChatGPT
Siri 进行了重大升级:更自然的对话方式、更智能的 Apple Intelligence 生成式 AI 模型,以及全新的用户界面和用户体验。

向 ChatGPT-4o 提问

如果 Siri 无法回答你的问题,你可以免费将其连接到 OpenAI 的 ChatGPT-4o 模型。Apple 承诺你的信息和请求详情不会被记录,确保你的隐私安全。
和 OpenAI 的政策一样,免费用户无需创建账号就能使用 GPT-4o,OpenAI 的付费用户也能关联账号使用付费功能。苹果表示,未来也会引入更多的AI模型。


这么多年,原来苹果的 logo 缺的就是这一块!
看看它是如何工作的

Apple Intelligence 系统架构图,通过 Orchestration 技术(Siri 底层的新名字)来决定哪些任务本地哪些交给云端。

苹果采用了一种混合模型方案,结合本地大模型和云端模型,以确保隐私和性能的平衡。
注重隐私的架构
本地大模型
- 在 iPhone、iPad 和 Mac 上进行设备处理
- 苹果凭借业界领先的芯片算力,在设备本地部署了强大的大模型。
- 这个本地大模型能够利用用户的个人数据(邮件、照片、备忘录等),为用户提供高度个性化和情境化的智能服务。
- 日常大部分任务都可在本地完成,无需将数据上传云端,有效保护了用户隐私。

目前看起来“苹果智能”套件在手机本地运行层面,只能在A17 Pro上跑得动,也就是只适用于iPhone 15 Pro和iPhone 15 Pro Max,而M系芯片的iPad都能跑得动。
云端模型
- 对于算力需求超出本地大模型能力的任务,苹果将引入名为"私有云计算"的云端模型。
- 设备上的语义索引,用于组织和查找相关信息。私有云计算
- 用户数据在被加密后才会传输到云端进行处理,苹果自身无法访问这些数据。
- 云端模型的隐私协议将开放接受外部审查,确保数据安全。

这是否就是 OpenAI 将 ChatGPT 的核心功能和最强大的模型免费提供给所有人的原因?Apple 向你保证,对于使用 ChatGPT 的用户,隐私保护是内置的——你的 IP 地址将被隐藏,OpenAI 不会存储请求。
- Siri 也进行了视觉上的改进。它不再是通常的符号,而是现在会在 iPhone 屏幕边缘显示跑马灯。
- 得益于升级的语言理解能力,你将能够以比以往任何时候都更自然的方式与 Siri 对话。
- Siri 现在可以理解先前的上下文
- 你可以通过双击锁屏底部随时输入给 Siri
- Siri 还可以回答有关你的 Apple 产品的问题,例如,询问如何发送计划的 iMessage 或电子邮件,Siri 会向你显示步骤

在屏幕上执行操作
更酷的是什么?Siri 现在可以识别你当前屏幕上的内容并执行应用内操作。例如,如果你正在填写需要驾照号码的表格,Siri 可以找到你的驾照照片,提取号码并自动填写。
等等……Siri 会监控我的屏幕活动。这有点让人担心。


- 你可以要求 Siri 向你展示照片
- 例如,你可以要求 Siri 向你展示在特定地点穿特定颜色衣服的特定人的所有照片。你还可以要求 Siri 修饰图像并应用不同的滤镜


新的 Siri 能够自己操作,Jim 博士给出了详细的解释。
全靠 Ferret-UI 这个视觉语言模型,它就像个智能侦探,能看懂 iOS 屏幕上的图标、小部件和文字,还能搞明白它们之间的关系和作用。这样一来,Siri 不仅能自己学会用 App,其他开发者也能通过 App Intents 让 Siri 直接用他们的 App 功能。

每个人都期待着今天在 WWDC 上见到重生的 Siri。其实,苹果已经发布了一篇论文,透露了比我们预期更多的细节。这篇论文名为"Ferret-UI",介绍了一种多模态视觉-语言模型,能够理解 iOS 移动屏幕上的图标、小部件和文本,并能推理它们的空间关系和功能含义。 您可以向 Ferret-UI 提出的问题包括:
- 总结这张截图的内容;
- 对交互元素 [bbox] 提供一个最能描述其功能的短语;
- 预测 UI 元素 [bbox] 是否可点击。 借助这种强大的屏幕理解能力,增加动作输出使其成为一个完整的设备助手并不难。 这篇论文甚至详细介绍了数据集和 iOS UI 基准的构建。这种非凡的开放性真正重新定义了苹果的 AI 研究分支。 这篇论文于四月悄然发布,几乎没有任何宣传。 https://arxiv.org/abs/2404.05719

Siri 可以查找和请求信息
- 例如,如果你询问朋友他们的航班何时到达,它将通过搜索 iMessages 和电子邮件自动找到信息

Apple 正在各个应用中集成新的 AI 驱动的写作能力,几乎在你编写的每个地方,包括邮件、笔记和第三方应用中。
(API)可以通过在应用中声明函数来使用

Apple 还发布了 App Intents API,为开发者提供将应用操作和内容深度集成到跨平台的系统体验(包括 Siri、Spotlight、小组件、控件等)中的功能。
可以在这个链接中 https://developer.apple.com/documentation/appintents 了解更多关于 App Intents API 的信息。
Siri 新的书写工具
校对和摘要
再见 Grammarly 和 Quillbot!Apple 的校对功能在整个 iOS 上免费提供语法、用词选择和句子结构建议。它提供带解释的编辑建议,以帮助改善你的写作。
对于较长的文章,摘要工具可以提取关键点供快速查看,或为接收者创建一个简短的概述。它还可以在你的收件箱中工作,总结长邮件,使你能够快速掌握每条消息的要点。
Apple 还更新了智能回复功能。虽然这不是一个新功能,但由 Apple Intelligence 驱动的最近升级使其更加准确。
因此,这些内置于操作系统的新功能和免费功能几乎淘汰了市场上的第三方写作工具。

Siri 可以总结电子邮件,不仅仅是电子邮件的前几行。

改写功能
新的“重写”功能将生成你的草稿的替代版本,让你选择一个更符合你的风格或语气的版本。根据预览,当选择文本时,重写功能将显示为一个小蓝按钮。

点击它,你将看到选项,可以使你的写作更加“友好”、“专业”或“简洁”。你甚至可以提示重写功能处理特定请求,例如“把这写成诗”。

- 回答问题并帮助 Siri 生成回复
例如,在这种情况下,Siri 会通过屏幕上的 UI 提示你选择自己开车还是乘坐 Uber,并根据你的回答生成回复。

- 适用于第三方应用程序、Mail 和 Pages
Genmoji: AI 生成的表情符号
Apple 推出了 Genmoji,将表情符号提升到了一个全新的水平。
用户现在可以通过输入描述来创建原始表情符号,他们的 Genmoji 将出现并提供额外选项。
以下是一些例子:根据提示生成表情符号图像

根据照片库中人物照片的草图生成的图像
你甚至可以根据照片创建朋友和家人的 Genmoji。与表情符号一样,Genmoji 可以内嵌到消息中,或作为贴纸或 Tapback 反应共享。这为你的消息体验增加了一个有趣的个性化元素。

AI 驱动的照片应用
通过自然语言支持,搜索照片和视频现在更加方便。例如,你可以通过说“弗兰克在公园里和她的狗玩”来搜索特定的时刻。视频搜索得到了增强,可以让你在剪辑中找到特定时刻。

通过回忆,用户可以输入描述,Apple Intelligence 将根据照片的主题写一个包含章节的故事,并将它们安排成一部电影,并匹配来自 Apple Music 的歌曲建议。
对于那些图库中有成千上万张照片的人来说,这个功能非常甜蜜,我迫不及待想要尝试。
根据 Apple 的说法,用户的照片和视频将保存在设备上,并且不会与 Apple 或其他人共享。
跨不同应用执行操作:例如,如果你要播放朋友在 iMessage 中发送给你的歌曲,Siri 将找到该特定人的消息,并使用音乐应用播放该歌曲。

图像游乐场 Image Playground
图像游乐场是 Apple 对 Midjourney、OpenAI 的 Dall-E 或 Google 的 Imagen 的回应。它是一个由 Apple Intelligence 驱动的文本生成图像工具。
它集成在消息和笔记等应用中,并作为独立应用提供,允许用户轻松地试验各种概念和风格。用户可以输入描述、选择个人照片并选择他们喜欢的风格来生成图像。
以下是独立应用的外观:


没有提到 Apple 使用自己的图像模型,所以他们可能正在使用 OpenAI 的 Dall-E 3。
将草图转换为图像 Image Wand
在笔记中,Apple Pencil 工具调色板中的图像魔杖功能可以将草图变成令人愉悦的图像。


粗略的草图可以转化为更酷的图像,用户甚至可以选择空白空间,根据周围区域的上下文创建图像。
如果你是开发者,Apple 将发布图像游乐场 API 以便将其集成到你的应用中。这非常令人兴奋。
将人物从背景中删除

你可以使用 API 将此功能集成到你的应用中
- 应用程序可以通过调用 Image Playground API 生成图像

Xcode 可以使用设备上的 Apple Intelligence 来执行设备上的代码

如何获取 Apple Intelligence ?
说实话,看完大会之后,我相信我们所有人都等不及想试试这些新鲜玩意。但别急,先得搞清楚一些关键点。这些 AI 驱动的酷炫功能不是每台设备都能用的,对系统还是有点要求的。说到 iPhone,只有 iPhone 15 Pro 和 iPhone 15 Pro Max 能体验到 Apple Intelligence 的魅力。
所以,如果你手里的是老款 iPhone,别如我手里的 iPhone 13 哪怕能升级到 iOS 18,也用不上这个功能。iPad 和 Mac 用户也得注意,得有 M1 芯片或更高级的配置才能用上 Apple Intelligence。也就是说,那些老旧的 iPad 和 Mac 就享受不到这个苹果智能了。
这些全新的 Apple Intelligence 功能将会在今年夏天首先在美国小范围测试,秋天推出测试版,明年才全面开放。
未来展望
在 WWDC 2024 的发布会上,苹果展示了一系列新技术和产品,特别是在人工智能(AI)和终端设备领域的突破。通过此次发布会,苹果不仅展示了其在硬件和软件方面的创新,还明确了其在人工智能领域的战略定位。
API 化的人工智能能力
**苹果此次发布会的另一个亮点是将其 AI 能力 API 化,使开发者能够利用这些能力创建自己的应用程序。**这一举措表明了苹果对应用生态系统的重视,并希望通过开放 AI 能力,激发更多创新。意味着,苹果生态内的所有软件都即将被 AI 重做一遍,这是毫不夸张的。做应用才是人工智能真正的出口。
- Apple Intelligence: 个性化智能和隐私保护架构是苹果 AI 战略的重要组成部分。通过 API,开发者可以在自己的应用中集成这些智能功能,如邮件重写、图像生成等。
- Siri 的增强功能: 新版 Siri 可以执行更复杂的任务,并能理解上下文,为用户提供更加智能化的体验。例如,通过 Siri API,开发者可以创建支持语音命令的应用,这将大大增强应用的互动性和易用性。
私有化大模型与 AI 应用的重要性
苹果在发布会上与 ChatGPT 的结合,**其实还强调了每个人都应该拥有自己的私有化大模型,这一观点与苹果注重用户隐私的理念高度契合。**通过在设备上处理数据,苹果能够在保证隐私的同时提供强大的 AI 能力。
- 私有化大模型: 设备上的语义索引和私有云计算是实现这一目标的重要技术。用户的数据可以在本地处理,不需要上传到云端,从而保证隐私安全。
- AI 应用的出口: 苹果认为,应用才是人工智能真正的出口。通过增强 Siri 和 Apple Intelligence AI 的能力,苹果希望在应用层面推动 AI 的普及。例如,Siri 可以在不同应用之间执行操作,并生成个性化的回复,这为用户提供了前所未有的便利。
其实不仅仅苹果,像微软,联系等设备厂商都开始把 AI 植入到自己的设备当中,未来,所有的硬件设备都会被 AI 加持,采用本地与云端双模型的形式来搭配。比如目前发布的联想 YOGA Pro16s AI元启,内置的联想小天。


微软也推出了一款名为"Windows 11 AI PC"的全新 PC 品类,专为 AI 体验而设计。Windows 11 AI PC 融合了强大的 AI 硬件和云端的 ChatGPT 体验,标志着 Windows 平台正在发生数十年来最大的变革,开启了 PC 加速 AI 创新发展的新篇章。
总的来说,不管苹果生态还是Win生态,本地+云这样的组合拳已经是未来的常态。

苹果的终端设备仍然是行业王者
苹果凭借其创新的硬件和生态系统,继续在全球终端设备市场保持领先地位。此次发布会进一步巩固了这一地位,展示了以下几项关键更新:
- VisionOS 2: 通过引入空间照片和 SharePlay 等功能,苹果将用户体验提升到了一个新的高度。特别是 Canon 相机捕捉空间视频的功能,以及 Vimeo 应用对 VisionOS 的支持,显示了苹果在拓展生态系统方面的努力。
- iOS 的新功能: 包括应用图标的自由摆放、自定义控制中心、多页控制中心等,使得用户能够更加灵活地定制自己的 iPhone 体验。
这些创新不仅体现了苹果在硬件和软件方面的强大能力,也表明其在用户体验上的持续优化。
苹果的 AI 战略与未来展望
结合 WWDC 2024 的内容,可以看出苹果正在积极打造自己的 AI 生态系统,并力图在这一领域实现**“iPhone 时刻”**的辉煌。通过开放 API、增强终端设备的智能化功能,以及注重隐私保护,苹果有望在 AI 应用方面继续引领行业。
VisionOS、iOS、iPadOS、MacOS 和 Apple Watch 的生态系统扩展,显示了苹果在多个平台上推进 AI 的努力。这种多平台的协同作用,将为用户带来更一致、更智能的体验。
下面我们看下这些生态系统有哪些更新。
VisionOS 2
- Vision Pro 将在以下国家发布!

- 自动将2D照片转换为空间照片
- 在查看照片时使用 SharePlay 与他人共享
- 握住你的手查看时间并进入主屏幕
- Display 将屏幕显示为宽屏
- 新框架
TabletopKitEnterprise API - 佳能相机现在可以录制空间视频
- 新 Vimeo 应用现已支持 VisionOS

iOS

一种自定义iPhone的新方式
将应用图标放置在屏幕上的任何位置

可以更改应用图标的颜色


自定义控制中心

- 控制中心中的多个页面
- 可定制的控制中心
- 应用开发者可以使用 Controls API 提供小部件,这些控件可以在锁屏上使用

隐私
- 锁定或隐藏应用

- 可以隐藏应用

- 控制应用的联系人访问权限
- 类似于图像访问控制,可以选择要与应用共享的联系人
- 配对配件时无需请求本地网络权限
- (使用特殊的配件连接对话框)
iMessage
- 稍后发送
- 可以使用表情符号作为消息的反应

- 文本格式,可以增加加粗,下划线,删除线等格式

- 通过卫星发送 iMessage
电子邮件
- 设备上的分类

- 类别包括社交、促销、购物订单、更新等。按公司排序,因此可以看到 United Airlines 的所有电子邮件

新的地图功能
- 徒步地图(美国)

- 通过 Tap to Cash 汇款(无需电话号码)

- 在线使用 Apple Pay 付款时,可以选择积分或分期付款

游戏模式
- 最大限度地减少后台活动
- 提高了连接 AirPods 时的响应速度

照片应用
- 照片应用重新设计
- 基于主题、人物和旅行的收藏显示在照片网格下方

iOS 和 MacOS 的单独密码应用

iPadOS 18

- 浮动标签栏(可扩展为侧边栏),可以将项目从侧边栏拖到浮动栏
SharePlay 屏幕共享:点击并绘制以告诉其他人在哪里点击

iPad 上的计算器应用
最令人震惊的就是 iPad 上的计算器功能。在 iPad 问世14年后,终于在 iPadOS 18 中推出了计算器应用,满足了长期以来用户的期待。这里有一个理念:我们虽然迟到,但我们是最好的。
其中计算器集成了新的数学笔记功能,**可以直接用笔触书写数学表达式,享受更为直观和自然的输入体验。当你在等号后稍作停顿,应用程序便会自动展示计算结果,而且结果同样是以手写形式呈现,既直观又亲切。不仅如此,它还支持从基础到科学级别的各种数学运算,甚至可以为变量赋值、插入图形以及在单一图形上应用多个方程式,功能强大。**对学生和专业人士来说非常方便。
不知道有这个计算器之后,高考题还需要自己做吗?
另外,该功能也扩展到了 Notes 应用程序,iPadOS 18为其带来了新的 Smart Script 功能,显著改善了手写体的清晰度,使书写和阅读体验更加流畅。当使用 Apple Pen 随时随地记下笔记时,此功能会自动修复笔迹。使它更清晰。据苹果称,该功能是使用强大的“设备上机器学习风格”来实现的。简单来说,就是人工智能。

公式笔记,结果显示
- 使用 Apple Pencil 在笔记中写下数学方程式,结果将自动计算并显示在屏幕上

能够根据变量值显示图形和计算结果

- 笔记应用中的智能脚本
- 手写改进(使用本地机器学习来学习你的书写方式)
MacOS Sequoia

iPhone 镜像
- 即使你的 iPhone 在另一个房间,你也可以查看和控制 iPhone 的内容。支持无线操作

iPhone 通知出现在 MacOS 上
- 当点击通知时,应用将出现在 Mac 上,声音将通过 Mac 的扬声器播放
- 即使 iPhone 在充电和待机模式下,你也可以在 Mac 上使用 iPhone

- 将文件从 Mac 拖放到 iPhone
- 自动将窗口放置在网格位置

演示者预览
- 在共享之前预览窗口
- 为你的视频添加背景(使用 MacOS 原生 API)

Safari
- (AI)使用机器学习检测和突出显示信息(音乐、人、电影、地点)

- (AI)获取文章摘要并显示自动生成的目录

游戏
- Gaming Porting Toolkit 2 使将你的 Windows 游戏移植到 Mac 变得容易。轻松将 MacOS 游戏导出到 iOS

音频和家庭
- 摇头表示拒接电话,点头表示接听电话
- 游戏中的空间音频(开发者个性化空间音频 API)
- 将电视节目中的音乐添加到你的资料库
- 字幕改进
- Portrait TV 桌面壁纸,Apple TV+ 节目可设置为壁纸

Apple Watch

跟踪锻炼强度
- (根据年龄、心率和其他数据评估)

自定义 iPhone 健身应用的概览屏幕

新的生命体征应用
- 查看心率等指标,比较趋势,并在出现重大变化时收到通知

智能堆栈
- 小部件会自动添加。例如,如果下雨,将显示降水图

双击 API
- 在应用中实现双击操作(双击执行操作)
- 找到用于手表界面的完美照片
最后的话
苹果在2024年的全球开发者大会(WWDC)上,向世界展示了其不满足于小步快跑的渐进式创新,而是要大胆地推动技术边界,开创一个设备与生活无缝融合的新时代。在这次大会上,苹果的公告彰显了其雄心壮志,预示着我们的设备将变得更加智能,能够预测并满足我们的需求,成为我们生活中不可或缺的伙伴。
Apple Intelligence 作为苹果在人工智能领域的旗舰技术,正在引领我们进入个人计算的新纪元。这项技术赋予了设备更深层次的理解能力,让它们能够更好地服务于用户,无论是工作、学习还是日常生活。
此外,苹果对旗下操作系统的一系列增强,包括 iOS、iPadOS、macOS、watchOS 和 tvOS,进一步强化了其构建一个统一、直观的生态系统的承诺。这些更新不仅提升了用户体验,还确保了苹果设备在不同场景下都能提供一致且高效的服务。
这次 WWDC 不仅是对苹果技术实力的展示,更是对未来愿景的一次大胆宣言。我们期待着苹果如何继续以其创新精神,推动科技与人类生活的深度融合,开启一个更加智能和互联的未来。

如果本文对你有帮助,欢迎为元峰点个赞👍。