元峰AI笔记 · AI大模型

Apple Intelligence

<title苹果 WWDC 汇总:苹果完全重新定义AI系统,还有「史上最牛」的计算器</title

苹果 WWDC 汇总:苹果完全重新定义AI系统,还有「史上最牛」的计算器

大家好,我是元峰,22 颗 AI 之心持有者。昨晚的苹果全球开发者大会 (WWDC) 无疑成为了科技界的一大盛事,让无数开发者和科技爱好者度过了一个激动人心的不眠之夜。

苹果公司,这个向来以神秘和谨慎著称的科技巨头,在 AI 领域的沉默终于被打破,他们不再只是旁观者,而是以一种全新的姿态,强势进军 AI 领域。

在这场备受瞩目的全球开发者大会上,苹果公司终于揭开了 Apple Intelligence 的神秘面纱。这项全新的 AI 功能,标志着苹果在人工智能领域的重大突破,它将被深度集成到 iOS 18、iPadOS 18 和全新的 macOS Sequoia 中,为用户带来前所未有的智能体验。

图片展示的是苹果公司标志性的苹果图标,图标以紫色为主色调,边缘有橙色和蓝色的渐变效果。图标中间以红蓝两色拼接出“AI”字样。该图片位于介绍苹果在AI领域重大突破的文档中,与上下文紧密相关,直观呈现了苹果在AI领域的品牌标识,呼应了苹果在WWDC 2024上正式推出Apple Intelligence这一主题。

以下是 WWDC 2024 主题演讲主要内容摘要,他们先讲一系列系统更新,最后才开始谈AI。但,前面的各种 OS 除了常规更新,没什么令人眼前一亮的,昨晚蹲发布会差点都睡着了,就不多讲了。

图片展示了苹果在WWDC 2024上更新的多个操作系统名称,包括visionOS、iOS、Audio & Home、watchOS、iPadOS、macOS。这些操作系统名称以不同颜色呈现,visionOS为蓝色,iOS为粉红色,Audio & Home为橙色,watchOS为绿色,iPadOS为紫色,macOS为蓝色。该图片与文档中介绍苹果在AI领域的革新内容相关,可能是苹果在此次大会上更新操作系统体系的体现。

本文我会先介绍苹果在 AI 领域的革新!

Apple Intelligence

这里的 AI 已经被苹果改写,不是我们常规见到的 AIArtificial Intelligence)而是苹果新造的概念:苹果智能 Apple Intelligence 。

图片展示了苹果Apple Intelligence的亮点。画面中央大红底色上写有“Apple Intelligence”。左侧有“Reduce Interruptions”“Memory Movie”“Priority messages in Mail”等板块,右侧有“Private Cloud Compute”“Clean Up in Photos”“Summaries in Messages”等板块,下方还有“Writing Tools”“Image Playground”“Image Wand”“Audio recording”“Summaries”等板块。画面左侧站立一位男士,背景为白色,整体呈现苹果智能系统在不同应用中的功能展示。

以下是 Apple Intelligence 的主要亮点:

语言理解和创作

  • 全新的系统级写作工具,集成在邮件、备忘录、Pages 等应用中,可实现一键重写、校对和总结文本的功能。
  • 在邮件应用中,可查看收件箱摘要,获得智能回复建议。
  • 在备忘录和电话应用中,可录制、转录和总结音频内容。 图像生成和编辑
  • "图像游乐场"功能,可根据现有照片和文本提示生成自定义表情包等图像。
  • 照片编辑功能升级,可识别并移除照片背景中的干扰物体。
  • "回忆"功能可根据用户输入的描述,利用现有图库创建"具有独特叙事弧线的电影"。 Siri 升级
  • Siri 获得全新外形和功能升级,能在苹果和第三方应用中执行数百种新操作。
  • 未来将加入屏幕感知功能,能实时理解用户在应用中的操作并作出反馈。

先看一段 5 分钟的总结版视频,一饱眼福。

个性化智能

  • 重要通知自动进入前台

图片展示了iPhone手机界面中的优先通知功能。手机屏幕上显示了三条优先通知,分别是Isabella Lamarre邀请Sandy和她的男朋友今晚共进晚餐,Instacart订单即将送达,Edwina告知暑期实习生已到,上午10:30有会议。这些通知以彩色气泡形式呈现,背景为渐变色,底部有“to minimize unnecessary distractions”字样。该图片与上下文介绍的个性化智能功能相关,体现了苹果通过设备上的应用程序了解个人背景,可能最了解你的不再是妈妈,而是你的iPhone。

了解个人背景(通过设备上的应用程序)

以后可能最了解你的不是你妈妈,而是你的 iPhone 了。

图片展示了iOS 18系统中多个应用界面。左侧是日历,显示6月10日的行程;中间是地图,标注了徒步路线;右侧是邮件界面,有“Primary”标签,显示多封邮件;最右侧是消息界面,有聊天记录。底部文字“from across your apps, as well as to reference the content”表明这些内容可从应用中获取并引用。该图与上文提到的iOS 18系统个性化智能功能相关,展示了系统整合应用内容的能力。

通话录音并转换为笔记

图片展示了iPhone通话界面。左侧显示通话中,有“Add”“FaceTime”“Mute”等按钮,当前通话时长2分32秒。中间界面为通话记录,显示与Francesco的通话,可选择“Summarize”并有“Hi, is this Tonia?”等对话内容。右侧为通话总结界面,显示“Call with Francesco”及通话内容摘要,如Francesco介绍自己并提及搬家事宜等。该图与文档中“通话录音并转换为笔记”内容相关,直观呈现了苹果iOS系统通话功能的智能总结功能。

Siri 与 ChatGPT

Siri 进行了重大升级:更自然的对话方式、更智能的 Apple Intelligence 生成式 AI 模型,以及全新的用户界面和用户体验。

图片展示了苹果设备的界面。左侧是Mac电脑,显示“Show the files June sent me last week”搜索框及文件列表;中间是iPhone,屏幕为黑色;右侧是iPad,显示天气、提醒事项等界面,还有“Here are Flour Lacour’s book recommendations”等弹窗。该图与上文提到的Siri进行了重大升级,包括更自然对话方式、智能Apple Intelligence生成式AI模型等内容相呼应,直观呈现了升级后苹果设备的使用场景。

向 ChatGPT-4o 提问

图片展示了苹果向ChatGPT-4o提问的界面。画面中显示“Bedtime Story for Annie”故事内容,包含多个段落。左侧有“Inspect Prompt”选项,下方有“Inspect Response”“Inspect Model”“Inspect Prompt and Response”“Inspect Model and Response”等选项。右下角有“Ask”按钮。该图片与上下文紧密相关,直观呈现了苹果向ChatGPT-4o提问的操作界面,说明了苹果承诺用户信息和请求详情不会被记录,确保隐私安全。

如果 Siri 无法回答你的问题,你可以免费将其连接到 OpenAI 的 ChatGPT-4o 模型。Apple 承诺你的信息和请求详情不会被记录,确保你的隐私安全。

和 OpenAI 的政策一样,免费用户无需创建账号就能使用 GPT-4o,OpenAI 的付费用户也能关联账号使用付费功能。苹果表示,未来也会引入更多的AI模型。

图片展示的是苹果WWDC大会现场,大屏幕上显示着ChatGPT的标志和名称。画面中还有部分观众的头部轮廓。该图片与文档中介绍苹果在AI系统方面进展的内容相关,直观呈现了大会现场展示ChatGPT这一场景,与上下文提到的苹果与OpenAI政策一致,免费用户可使用GPT-4o等信息相呼应,体现了苹果在AI领域的相关展示。

图片展示了苹果标志,其右下方的咬口处被替换成了ChatGPT的标志。该图片位于介绍苹果Apple Intelligence系统架构的上下文之后,可能是通过这种方式暗示苹果在AI技术上的创新与ChatGPT的关联,与上下文提到的苹果采用混合模型方案,结合本地大模型和云端模型,以确保隐私和性能的平衡等内容相呼应。

这么多年,原来苹果的 logo 缺的就是这一块!

看看它是如何工作的

图片展示了苹果Apple Intelligence系统中与ChatGPT交互的界面。左侧显示“我有新鲜三文鱼、柠檬、西红柿,帮我想一个5道菜的菜单,每道菜都有不同的口味”;中间弹出“你想让我使用ChatGPT来做吗?”的提示;右侧呈现了ChatGPT生成的5道菜菜单,包括开胃菜、主菜等,还标注了“ChatGPT 重要信息可做笔记”。该图与上下文介绍的Apple Intelligence系统架构及与ChatGPT的交互方式相呼应,直观呈现了其工作流程。

Apple Intelligence 系统架构图,通过 Orchestration 技术(Siri 底层的新名字)来决定哪些任务本地哪些交给云端。

图片展示了Apple Intelligence系统架构图。左侧为Apps and experiences,包含Siri、Writing Tools等系统体验。中间是Personal Intelligence System,有Semantic index、App Intents Toolbox等组件,通过Orchestration技术决定任务执行方式。右侧是Server models,包含Server models、ML stack等。下方是Apple silicon,有CPU、GPU等硬件。该图与上下文紧密相关,直观呈现了Apple Intelligence系统架构,说明其通过Orchestration技术结合本地大模型和云端模型,确保隐私和性能平衡。

苹果采用了一种混合模型方案,结合本地大模型和云端模型,以确保隐私和性能的平衡。

注重隐私的架构

本地大模型

  • 在 iPhone、iPad 和 Mac 上进行设备处理
  • 苹果凭借业界领先的芯片算力,在设备本地部署了强大的大模型。
  • 这个本地大模型能够利用用户的个人数据(邮件、照片、备忘录等),为用户提供高度个性化和情境化的智能服务。
  • 日常大部分任务都可在本地完成,无需将数据上传云端,有效保护了用户隐私。

图片展示了苹果A系列和M系列芯片的图标,从左至右依次为A17 Pro、M1、M2、M3、M4。下方文字说明“借助我们最先进的苹果硅,A17 Pro和M系列芯片”。该图片与上下文紧密相关,上下文提到苹果智能套件在手机本地运行层面,只适用于iPhone 15 Pro和iPhone 15 Pro Max,而M系芯片的iPad都能跑得动,此图直观呈现了支持这些芯片的型号,帮助理解上下文关于芯片适用范围的说明。

目前看起来“苹果智能”套件在手机本地运行层面,只能在A17 Pro上跑得动,也就是只适用于iPhone 15 Pro和iPhone 15 Pro Max,而M系芯片的iPad都能跑得动。

云端模型

  • 对于算力需求超出本地大模型能力的任务,苹果将引入名为"私有云计算"的云端模型。
  • 设备上的语义索引,用于组织和查找相关信息。私有云计算
  • 用户数据在被加密后才会传输到云端进行处理,苹果自身无法访问这些数据。
  • 云端模型的隐私协议将开放接受外部审查,确保数据安全。

图片展示了苹果隐私保护架构示意图。中心为用户,周围有Siri、Apple ID、iCloud等图标,表明这些服务与用户相关。画面下方文字说明“to identify the relevant personal data, and feeds it to the generative models”,即识别相关个人数据并将其提供给生成模型。该图与上下文紧密相关,直观呈现了苹果注重隐私的架构,用户数据在被加密后传输到云端处理,苹果自身无法访问,确保数据安全。

这是否就是 OpenAI 将 ChatGPT 的核心功能和最强大的模型免费提供给所有人的原因?Apple 向你保证,对于使用 ChatGPT 的用户,隐私保护是内置的——你的 IP 地址将被隐藏,OpenAI 不会存储请求。

  • Siri 也进行了视觉上的改进。它不再是通常的符号,而是现在会在 iPhone 屏幕边缘显示跑马灯。
  • 得益于升级的语言理解能力,你将能够以比以往任何时候都更自然的方式与 Siri 对话。
  • Siri 现在可以理解先前的上下文
  • 你可以通过双击锁屏底部随时输入给 Siri
  • Siri 还可以回答有关你的 Apple 产品的问题,例如,询问如何发送计划的 iMessage 或电子邮件,Siri 会向你显示步骤

图片展示了一个室内场景,天花板上有圆形装饰。画面中央是一块大屏幕,屏幕上显示着多个问题,如“什么是iCloud?”“如何重置AirTag?”“如何使用隐形墨水?”等。屏幕下方有文字“Tell me about Screen Time”,并强调“and can answer thousands of questions when you want to know”。该图片与上下文紧密相关,直观呈现了Siri在WWDC上展示的多项新功能,如能回答大量问题,涵盖iCloud、AirTag等多方面内容。

在屏幕上执行操作

更酷的是什么?Siri 现在可以识别你当前屏幕上的内容并执行应用内操作。例如,如果你正在填写需要驾照号码的表格,Siri 可以找到你的驾照照片,提取号码并自动填写。

等等……Siri 会监控我的屏幕活动。这有点让人担心。

图片展示了一只手握着的iPhone 15 Pro手机。手机屏幕显示时间为9:41,日期为周一10日,地点为Tiburon。屏幕上方有“Mon 10”“Tiburon”字样,中间是时间显示,下方有“i”和“a”图标。手机边框为紫色,屏幕边缘有黑色边框。该图片与文档中介绍iPhone 15 Pro的内容相关,直观呈现了该手机的外观及屏幕显示情况。

图片展示了一部iPhone屏幕,显示时间为9:41,地点为New York。屏幕上有一张照片,照片中一位穿着粉色外套、蓝色内搭的人在雨中笑得很开心,背景是城市街景。屏幕下方有多个小图标,包括相机、表情符号、画笔等。该图片与上下文紧密相关,直观呈现了新的Siri能够自己操作,通过Ferret-UI视觉语言模型看懂iOS屏幕上的图标、小部件和文字,还能搞明白它们之间的关系和作用这一功能。

  • 你可以要求 Siri 向你展示照片
  • 例如,你可以要求 Siri 向你展示在特定地点穿特定颜色衣服的特定人的所有照片。你还可以要求 Siri 修饰图像并应用不同的滤镜

图片展示了iOS系统中Siri搜索照片的界面。界面上方显示“Search”及“Top Results”字样,下方有“Press Photos”和“Album”选项。画面中部呈现了多张照片缩略图,其中多张照片中人物穿着粉色外套。画面底部有文字说明,可要求Siri向你展示在特定地点穿特定颜色衣服的特定人的所有照片,Siri会将这些照片调出。此图与上下文介绍的Siri能够执行屏幕操作,如向用户展示特定照片等内容相契合。

图片展示了一位女孩在户外的多个场景,她脸上贴有彩色贴纸。画面中间有一个搜索框,显示“Katie with stickers on her face”。这与上文提到的“你可以要求Siri向你展示在特定地点穿特定颜色衣服的特定人的所有照片”相呼应,表明Siri能够根据关键词搜索相关照片,展示了其图像搜索功能。

新的 Siri 能够自己操作,Jim 博士给出了详细的解释。

全靠 Ferret-UI 这个视觉语言模型,它就像个智能侦探,能看懂 iOS 屏幕上的图标、小部件和文字,还能搞明白它们之间的关系和作用。这样一来,Siri 不仅能自己学会用 App,其他开发者也能通过 App Intents 让 Siri 直接用他们的 App 功能。

图片是Jim Fan在Twitter上发布的关于苹果新Siri的推文。推文提到苹果已发布一篇名为“Ferret - UI”的论文,该模型能理解iOS屏幕上的图标、小部件和文字,还能推理其空间关系和功能意义。还列举了可向Ferret - UI提问的示例,如提供截图总结、描述交互元素功能等。推文还提到论文详细介绍了数据集和iOS UI基准构建,苹果在AI研究分支上重新定义了自己。

每个人都期待着今天在 WWDC 上见到重生的 Siri。其实,苹果已经发布了一篇论文,透露了比我们预期更多的细节。这篇论文名为"Ferret-UI",介绍了一种多模态视觉-语言模型,能够理解 iOS 移动屏幕上的图标、小部件和文本,并能推理它们的空间关系和功能含义。 您可以向 Ferret-UI 提出的问题包括:

  • 总结这张截图的内容;
  • 对交互元素 [bbox] 提供一个最能描述其功能的短语;
  • 预测 UI 元素 [bbox] 是否可点击。 借助这种强大的屏幕理解能力,增加动作输出使其成为一个完整的设备助手并不难。 这篇论文甚至详细介绍了数据集和 iOS UI 基准的构建。这种非凡的开放性真正重新定义了苹果的 AI 研究分支。 这篇论文于四月悄然发布,几乎没有任何宣传。 https://arxiv.org/abs/2404.05719

图片展示了iOS系统中“提醒事项”应用的界面及任务分类。左侧为Elementary Tasks,包含如“识别按钮图标”“识别元素文本”等基础任务;右侧是Advanced Tasks,涵盖“如何打开提醒事项应用”“如何导航到游戏”等高级任务。中间是应用界面,显示“今日”提醒事项列表,有“发送团队每周进度”“为每月会议安排议程”等任务。该图与文档中介绍iOS系统AI研究分支的论文内容相关,展示了其在屏幕理解与交互方面的任务分类。

Siri 可以查找和请求信息

  • 例如,如果你询问朋友他们的航班何时到达,它将通过搜索 iMessages 和电子邮件自动找到信息

图片展示了苹果在邮件、笔记等应用中集成AI驱动写作能力的示例。画面中,邮件界面显示了“Freelancer_Portfolio”文件夹,下方有PDF文件、图片等内容。笔记部分呈现了“Rigo's cookie recipe”食谱,包括日期、配料等信息。此外,还有“PDFs of concert tickets, and links that your friends have shared,”的提示。该图片与上下文紧密相关,直观呈现了苹果在应用中集成AI驱动写作能力的具体场景。

Apple 正在各个应用中集成新的 AI 驱动的写作能力,几乎在你编写的每个地方,包括邮件、笔记和第三方应用中。

(API)可以通过在应用中声明函数来使用

图片展示的是苹果WWDC上发布的App Intents API相关内容。画面中,一位女性站在屏幕前,屏幕上显示蓝色图标和“App Intents API”字样。下方字幕说明“对于开发者,他们将能够使用App Intents框架”。该图片与上下文紧密相关,上下文提到Apple发布了App Intents API,为开发者提供将应用操作和内容深度集成到跨平台系统体验的功能,此图直观呈现了这一API的名称和相关说明,帮助开发者理解其作用。

Apple 还发布了 App Intents API,为开发者提供将应用操作和内容深度集成到跨平台的系统体验(包括 Siri、Spotlight、小组件、控件等)中的功能。

可以在这个链接中 https://developer.apple.com/documentation/appintents 了解更多关于 App Intents API 的信息。

Siri 新的书写工具

校对和摘要

再见 Grammarly 和 Quillbot!Apple 的校对功能在整个 iOS 上免费提供语法、用词选择和句子结构建议。它提供带解释的编辑建议,以帮助改善你的写作。

对于较长的文章,摘要工具可以提取关键点供快速查看,或为接收者创建一个简短的概述。它还可以在你的收件箱中工作,总结长邮件,使你能够快速掌握每条消息的要点。

Apple 还更新了智能回复功能。虽然这不是一个新功能,但由 Apple Intelligence 驱动的最近升级使其更加准确。

因此,这些内置于操作系统的新功能和免费功能几乎淘汰了市场上的第三方写作工具。

图片展示了Mac系统中Siri总结邮件内容的功能。左侧是邮件界面,显示邮件主题为“Q1 Sales and Sentiment Deep-Dive”,发件人为Gray McCarty,邮件内容包含关键点。右侧是Siri总结的邮件关键点,包括Starling Mark IV为Q1最畅销的电动自行车等信息。底部文字说明“然后将它们作为TL;DR放在顶部”。该图片与上文提到的Siri可以总结电子邮件,不仅仅是电子邮件的前几行的内容相呼应,直观呈现了Siri总结邮件内容的功能。

Siri 可以总结电子邮件,不仅仅是电子邮件的前几行。

图片展示的是iPhone界面,显示时间为9:41,有信号、Wi-Fi和电池图标。界面中有一封新邮件,内容是Markus分享了对212 Opal Street的观感,该房产位置优越、氛围安静、有宽敞后院和海景,但需大量维护,如修复石墙和恢复花园。下方是Markus的头像和“Just Now”字样,以及邮件主题“212 Opal Street”。图片与上下文关系紧密,直观呈现了Siri可以总结电子邮件的功能。

改写功能

新的“重写”功能将生成你的草稿的替代版本,让你选择一个更符合你的风格或语气的版本。根据预览,当选择文本时,重写功能将显示为一个小蓝按钮。

图片展示的是苹果邮件应用界面,显示一封发件人为Jenny Frith、收件人为Andi Herbst的邮件。邮件内容是Jenny Frith对与Andi Herbst在咖啡馆见面的感谢,表达了对食品安全机会的兴奋,并称自己有资格帮助其组织发展。邮件下方附有Jenny Frith的简历,包含教育、实习经历等信息。该图片与上文介绍的Siri改写功能相关,展示了在邮件中使用改写功能可能呈现的效果。

点击它,你将看到选项,可以使你的写作更加“友好”、“专业”或“简洁”。你甚至可以提示重写功能处理特定请求,例如“把这写成诗”。

图片展示的是苹果邮件应用界面,显示一封发件人为Jenny Frith的邮件,主题为“Following Up”,内容是关于与Andi Herbst见面后对合作机会的兴奋,提到食品安全与她心系,认为自己能帮助组织成长。邮件下方有Jenny Frith的简历,包含教育、实习经历等信息。界面右上角有“Rewrite”“Revert”“Done”按钮,与文档中介绍Siri新功能可使写作更“友好”“专业”或“简洁”,甚至提示重写处理特定请求的内容相呼应。

  • 回答问题并帮助 Siri 生成回复

例如,在这种情况下,Siri 会通过屏幕上的 UI 提示你选择自己开车还是乘坐 Uber,并根据你的回答生成回复。

图片展示了苹果邮件应用中Siri智能回复功能的界面。在邮件回复界面下方,有“Cancel”“Smart Reply”“Done”三个选项,其中“Smart Reply”被突出显示。下方弹出“Will your partner be joining?”的询问框,有“Cancel”“Yes”“No”三个选项。再下方是“Will you be driving or taking an Uber?”的询问框,同样有三个选项。图片与上下文紧密相关,直观呈现了Siri回答问题并帮助生成回复的功能,体现了Siri在邮件应用中的智能辅助作用。

  • 适用于第三方应用程序、Mail 和 Pages

Genmoji: AI 生成的表情符号

Apple 推出了 Genmoji,将表情符号提升到了一个全新的水平。

用户现在可以通过输入描述来创建原始表情符号,他们的 Genmoji 将出现并提供额外选项。

以下是一些例子:根据提示生成表情符号图像

图片展示了Apple Intelligence中Genmoji功能的使用示例。左侧手机显示输入“Race car driver”后生成的女性角色头像;中间手机呈现输入“Smiley relaxing wearing cucumbers”后生成的笑脸表情;右侧手机则在聊天界面中,用户输入“Describe an Emoji”后,系统展示多种表情符号。这些图片直观呈现了根据描述生成表情符号的功能,与上文介绍的用户可通过输入描述创建原始表情符号的内容相呼应。

根据照片库中人物照片的草图生成的图像

你甚至可以根据照片创建朋友和家人的 Genmoji。与表情符号一样,Genmoji 可以内嵌到消息中,或作为贴纸或 Tapback 反应共享。这为你的消息体验增加了一个有趣的个性化元素。

图片展示的是苹果Apple Intelligence功能中生成的AI表情符号。画面中显示一条信息“Happy birthday, my dear”,下方配有卡通人物头像,人物头戴花环,身穿彩色衣服,周围环绕着蛋糕、气球和花朵,营造出节日氛围。该图片与文档中介绍Apple Intelligence通过自然语言支持生成表情符号的内容相关,直观呈现了其生成效果。

AI 驱动的照片应用

通过自然语言支持,搜索照片和视频现在更加方便。例如,你可以通过说“弗兰克在公园里和她的狗玩”来搜索特定的时刻。视频搜索得到了增强,可以让你在剪辑中找到特定时刻。

图片展示了Apple Intelligence的“Create a Memory Movie”功能。左侧手机屏幕显示输入描述界面,可输入关于照片主题的描述,如“我们在日本吃的一切”等。中间手机屏幕呈现“Gone Fishin'”电影故事,包含多张钓鱼照片。右侧手机屏幕为一张小男孩钓鱼的照片,下方有“Gone Fishin' OVER THE YEARS”字样。该图片直观呈现了通过描述生成电影故事并匹配照片的功能,与上下文介绍的Apple Intelligence功能相契合。

通过回忆,用户可以输入描述,Apple Intelligence 将根据照片的主题写一个包含章节的故事,并将它们安排成一部电影,并匹配来自 Apple Music 的歌曲建议。

对于那些图库中有成千上万张照片的人来说,这个功能非常甜蜜,我迫不及待想要尝试。

根据 Apple 的说法,用户的照片和视频将保存在设备上,并且不会与 Apple 或其他人共享。

跨不同应用执行操作:例如,如果你要播放朋友在 iMessage 中发送给你的歌曲,Siri 将找到该特定人的消息,并使用音乐应用播放该歌曲。

图片展示了苹果WWDC上关于Siri功能的介绍。画面中一位男士站在屏幕前,屏幕呈现多个Siri可执行的操作示例,如“Open Moon details for tomorrow”“Play the song that Ray texted me”等,涵盖查看日程、播放音乐、删除照片、调整运动目标、移动笔记、播放播客、创建文件夹、发送邮件、调整照片亮度等。这些操作体现了Siri在不同应用间执行任务的能力,与上下文介绍的Siri跨应用操作功能相契合。

图像游乐场 Image Playground

图像游乐场是 Apple 对 Midjourney、OpenAI 的 Dall-E 或 Google 的 Imagen 的回应。它是一个由 Apple Intelligence 驱动的文本生成图像工具。

它集成在消息和笔记等应用中,并作为独立应用提供,允许用户轻松地试验各种概念和风格。用户可以输入描述、选择个人照片并选择他们喜欢的风格来生成图像。

以下是独立应用的外观:

图片展示的是iPad界面,上方显示“Cancel”和“Create”按钮。中间是“Image Playground”界面,有“Space”和“Astronaut”两个图标,分别对应太空和宇航员主题。下方有“Suggestions”区域,列出“Jemica”“Alan”“Starry Night”“Scientist”等主题。底部有“Description”输入框,以及“Animation”和“Sticker”选项卡。该图与文档中介绍Apple独立应用外观的内容相关,展示了Image Playground应用的界面样式。

图片展示了Apple独立应用的外观,画面中是一只戴着厨师帽、系着围裙的猫咪,背景有厨房场景,如锅碗瓢盆等。画面下方有文字“这都是在设备上发生的!”。该图片位于介绍Apple独立应用外观的上下文之后,是对独立应用外观的具体呈现,直观展示了应用图标的设计风格,与上下文对Apple独立应用外观的描述相呼应。

没有提到 Apple 使用自己的图像模型,所以他们可能正在使用 OpenAI 的 Dall-E 3。

将草图转换为图像 Image Wand

在笔记中,Apple Pencil 工具调色板中的图像魔杖功能可以将草图变成令人愉悦的图像。

图片展示的是苹果WWDC上介绍的“Image Wand”功能。画面中,一位男士站在左侧,身后是带有“Image Wand”标识及彩色圆圈图案的白色大屏幕。屏幕下方有英文说明,称该功能能补充笔记,使其更具视觉效果。此图与上下文紧密相关,上下文提到苹果在WWDC上展示了多项创新,此图直观呈现了其中一项名为“Image Wand”的功能,体现了苹果在AI系统方面的创新。

图片展示的是iPad屏幕,显示“ARCH 201 Lecture 12”课程内容,主题为“ARCHITECTURE IN INDIA 15th - 18th centuries”。画面中有一个建筑草图,标注有“Chhatri pavilion”等信息,下方有“Image Wand uses on-device intelligence to analyze your sketch and words”字幕。该图片与上文提到的“Image Wand”功能相关,直观呈现了其在分析手绘草图和文字方面的应用。

粗略的草图可以转化为更酷的图像,用户甚至可以选择空白空间,根据周围区域的上下文创建图像。

如果你是开发者,Apple 将发布图像游乐场 API 以便将其集成到你的应用中。这非常令人兴奋。

将人物从背景中删除

图片展示了一部手机屏幕,显示着一张海滩上多人合影的照片。照片中,五个人站在沙滩上,背景是岩石和天空。手机界面底部有多个图标,其中“删除”图标被红色框突出显示。图片下方有英文文字“so you can make them disappear”,意为“你可以让他们消失”。这与上下文介绍的将人物从背景中删除功能相契合,直观呈现了该功能的效果。

你可以使用 API 将此功能集成到你的应用中

  • 应用程序可以通过调用 Image Playground API 生成图像

图片展示的是苹果WWDC上介绍Image Playground API的内容。画面中,一位男士站在右侧,身后是一块大屏幕,屏幕上显示着蓝色背景的图标,图标内有猫头图案,下方文字为“Image Playground API”。画面底部有字幕,内容为“Image Playground experience in their app too, with a new API.”。该图片与上下文紧密相关,上下文提到应用程序可通过调用Image Playground API生成图像,此图直观呈现了该API的标识。

Xcode 可以使用设备上的 Apple Intelligence 来执行设备上的代码

图片展示了一位男士站在Xcode图标前,图标上有蓝色背景和锤子图案。画面右侧有“Xcode”字样,下方文字写着“with features like on-device code completion”。男士表情生动,似乎在介绍相关内容。该图片与上下文紧密相关,上下文提到Xcode可以使用设备上的Apple Intelligence来执行设备上的代码,此图直观呈现了Xcode这一开发工具,辅助说明其功能特点。

如何获取 Apple Intelligence ?

说实话,看完大会之后,我相信我们所有人都等不及想试试这些新鲜玩意。但别急,先得搞清楚一些关键点。这些 AI 驱动的酷炫功能不是每台设备都能用的,对系统还是有点要求的。说到 iPhone,只有 iPhone 15 Pro 和 iPhone 15 Pro Max 能体验到 Apple Intelligence 的魅力。

所以,如果你手里的是老款 iPhone,别如我手里的 iPhone 13 哪怕能升级到 iOS 18,也用不上这个功能。iPad 和 Mac 用户也得注意,得有 M1 芯片或更高级的配置才能用上 Apple Intelligence。也就是说,那些老旧的 iPad 和 Mac 就享受不到这个苹果智能了。

这些全新的 Apple Intelligence 功能将会在今年夏天首先在美国小范围测试,秋天推出测试版,明年才全面开放。

未来展望

在 WWDC 2024 的发布会上,苹果展示了一系列新技术和产品,特别是在人工智能(AI)和终端设备领域的突破。通过此次发布会,苹果不仅展示了其在硬件和软件方面的创新,还明确了其在人工智能领域的战略定位

API 化的人工智能能力

**苹果此次发布会的另一个亮点是将其 AI 能力 API 化,使开发者能够利用这些能力创建自己的应用程序。**这一举措表明了苹果对应用生态系统的重视,并希望通过开放 AI 能力,激发更多创新。意味着,苹果生态内的所有软件都即将被 AI 重做一遍,这是毫不夸张的。做应用才是人工智能真正的出口。

  • Apple Intelligence: 个性化智能和隐私保护架构是苹果 AI 战略的重要组成部分。通过 API,开发者可以在自己的应用中集成这些智能功能,如邮件重写、图像生成等。
  • Siri 的增强功能: 新版 Siri 可以执行更复杂的任务,并能理解上下文,为用户提供更加智能化的体验。例如,通过 Siri API,开发者可以创建支持语音命令的应用,这将大大增强应用的互动性和易用性

私有化大模型与 AI 应用的重要性

苹果在发布会上与 ChatGPT 的结合,**其实还强调了每个人都应该拥有自己的私有化大模型,这一观点与苹果注重用户隐私的理念高度契合。**通过在设备上处理数据,苹果能够在保证隐私的同时提供强大的 AI 能力。

  • 私有化大模型: 设备上的语义索引和私有云计算是实现这一目标的重要技术。用户的数据可以在本地处理,不需要上传到云端,从而保证隐私安全。
  • AI 应用的出口: 苹果认为,应用才是人工智能真正的出口。通过增强 Siri 和 Apple Intelligence AI 的能力,苹果希望在应用层面推动 AI 的普及。例如,Siri 可以在不同应用之间执行操作,并生成个性化的回复,这为用户提供了前所未有的便利。

其实不仅仅苹果,像微软,联系等设备厂商都开始把 AI 植入到自己的设备当中,未来,所有的硬件设备都会被 AI 加持,采用本地与云端双模型的形式来搭配。比如目前发布的联想 YOGA Pro16s AI元启,内置的联想小天。

图片展示了联想小天的功能。上方大字标题为“联想小天”,下方文字介绍其是专属个人的“人工智能体”,由天禧大模型驱动,可与用户在工作学习等场景交互。还提到联想小天具备自我学习和成长能力,能提供精准个性化服务。图片下方以紫色图标呈现AI画师、AI PPT等10项功能,如AI换机、AI服务等,底部提示“更多功能敬请期待”。此图与文档中介绍联想YOGA Pro16s AI元启内置联想小天的内容相关,直观呈现了联想小天的功能。

图片展示了联想YOGA台面矿化直饮水机的智能语音交互界面。左侧为时间轴,显示2024年4月9日的多个时间点。右侧是语音交互内容,显示“用云端模型”字样,下方有播放按钮、暂停按钮、音量调节条、AI自动生成仅供参考的标识,以及“在不打扰你的时候去帮你阅读”等文字。该图片与上下文介绍的联想YOGA台面矿化直饮水机的特性及优势等内容相关,直观呈现了其智能语音交互功能。

微软也推出了一款名为"Windows 11 AI PC"的全新 PC 品类,专为 AI 体验而设计。Windows 11 AI PC 融合了强大的 AI 硬件和云端的 ChatGPT 体验,标志着 Windows 平台正在发生数十年来最大的变革,开启了 PC 加速 AI 创新发展的新篇章。

总的来说,不管苹果生态还是Win生态,本地+云这样的组合拳已经是未来的常态。

图片展示了一台笔记本电脑,屏幕显示Windows 11界面,右下角有“Windows 11 AI PC”字样。电脑键盘部分有“Backspace”键,底部有“Power by Snapdragon X Gen 2”的标识。该图片与文档中提到的“微软推出名为‘Windows 11 AI PC’的全新PC品类,融合了强大的AI硬件和云端的ChatGPT体验”内容相关,直观呈现了这款AI PC的外观。

苹果的终端设备仍然是行业王者

苹果凭借其创新的硬件和生态系统,继续在全球终端设备市场保持领先地位。此次发布会进一步巩固了这一地位,展示了以下几项关键更新:

  • VisionOS 2: 通过引入空间照片和 SharePlay 等功能,苹果将用户体验提升到了一个新的高度。特别是 Canon 相机捕捉空间视频的功能,以及 Vimeo 应用对 VisionOS 的支持,显示了苹果在拓展生态系统方面的努力。
  • iOS 的新功能: 包括应用图标的自由摆放、自定义控制中心、多页控制中心等,使得用户能够更加灵活地定制自己的 iPhone 体验。

这些创新不仅体现了苹果在硬件和软件方面的强大能力,也表明其在用户体验上的持续优化。

苹果的 AI 战略与未来展望

结合 WWDC 2024 的内容,可以看出苹果正在积极打造自己的 AI 生态系统,并力图在这一领域实现**“iPhone 时刻”**的辉煌。通过开放 API、增强终端设备的智能化功能,以及注重隐私保护,苹果有望在 AI 应用方面继续引领行业。

VisionOS、iOS、iPadOS、MacOS 和 Apple Watch 的生态系统扩展,显示了苹果在多个平台上推进 AI 的努力。这种多平台的协同作用,将为用户带来更一致、更智能的体验。

下面我们看下这些生态系统有哪些更新。

VisionOS 2

  • Vision Pro 将在以下国家发布!

图片展示了一款黑色的VisionOS设备,外观呈弧形。右侧文字显示该设备将于6月28日在 中国、日本、新加坡推出。图片位于介绍VisionOS 2的内容之后,可能是VisionOS 2系统所适配的设备,其相关功能包括自动将2D照片转换为空间照片、使用SharePlay共享照片等,还提及了新框架及应用支持情况。

  • 自动将2D照片转换为空间照片
  • 在查看照片时使用 SharePlay 与他人共享
  • 握住你的手查看时间并进入主屏幕
  • Display 将屏幕显示为宽屏
  • 新框架 TabletopKit Enterprise API
  • 佳能相机现在可以录制空间视频
  • 新 Vimeo 应用现已支持 VisionOS

图片展示了苹果VisionOS系统的新功能。中间大区域以“visionOS”为标题。周围分布着多个功能图标,如“Create spatial photos”“Volumetric APIs”“TabletopKit”等,涵盖空间照片、体积API、桌面工具等。还有“Follow your breathing”“Mouse support”“SharePlay for Photos”等,涉及呼吸跟踪、鼠标支持、照片分享等功能。此外,还有“Travel Mode on trains”“New Apple Immersive Video”等,体现旅行模式、新苹果沉浸式视频等内容。该图与文档中介绍VisionOS新功能的上下文紧密相关。

iOS

图片展示了iOS系统更新的多项新功能。左侧是更新后的照片界面,显示“最大的照片更新”。右侧有多个功能板块,如“邮件中的分类”“表情符号回复”“钱包中的分期付款和奖励”“消息支持”“地图中的徒步”“消息中的稍后发送”“主屏幕上的大图标”等,还展示了“控制中心自定义”“锁屏自定义”等内容。这些功能体现了iOS系统在照片、邮件、钱包、消息、地图等方面的新特性。

一种自定义iPhone的新方式

将应用图标放置在屏幕上的任何位置

图片展示了iOS系统中一种自定义iPhone的新方式。画面中一只手拿着iPhone,手机屏幕上显示多个应用图标,其中“天气”应用图标被放置在屏幕右上角,位于Dock上方,便于快速访问。该图片与文档中“一种自定义iPhone的新方式”内容相关,直观呈现了将应用图标放置在屏幕任意位置的功能,体现了iOS系统在应用布局上的灵活性。

可以更改应用图标的颜色

图片展示了iOS系统中自定义控制中心的界面。画面中,一只手在手机屏幕上操作,手机显示着一个带有狗头像的界面,下方有多个应用图标。画面底部有文字“and now I can tint them all with color.”,意为现在可以将它们全部染成颜色。该图片与文档中“自定义控制中心”部分内容相关,直观呈现了iOS系统中可定制的控制中心界面,以及应用开发者可使用Controls API提供可在锁屏上使用的控件这一功能。

图片展示了多种iPhone界面,呈现了iOS系统的新功能。左上角是带有电话、信息、邮件等应用图标的界面;右上角是显示天气、地图等信息的界面;中间部分有不同主题的桌面,如人物、风景等;右下角是带有应用图标和控制中心的界面。这些界面体现了iOS系统中自定义iPhone、自定义控制中心等功能,与文档中介绍的iOS系统新功能相契合,直观呈现了相关界面样式。

自定义控制中心

图片展示了一只手握着的iPhone,手机屏幕上显示着“Home Controls”界面。界面上有多个控制选项,如“Work From Home”“Good Morning”“Good Night”等,还有“Lock”“Good Morning”“Good Night”“Good Morning”“Good Night”等按钮。该图片与文档中“自定义控制中心”内容相关,直观呈现了iOS系统中可定制的控制中心界面,体现了应用开发者可使用Controls API提供可在锁屏上使用的控件这一特性。

  • 控制中心中的多个页面
  • 可定制的控制中心
  • 应用开发者可以使用 Controls API 提供小部件,这些控件可以在锁屏上使用

图片展示了一只手握着iPhone,屏幕显示控制中心界面。界面上有多个可定制的控制中心选项,如翻译、备忘录、日历、天气、设置、查找、Siri、查找我的iPhone、查找我的AirPods、查找我的Mac、查找我的iPad、查找我的iPhone、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、查找我的Apple Watch、

隐私

  • 锁定或隐藏应用

图片展示了一位男士站在屏幕前,屏幕左上角显示“Face Not Recognized”及“Try Again”“Cancel”选项。画面右侧有英文文字“in other places across the system, like in search and notifications,”。该图片与文档中iOS隐私部分上下文相关,可能是在演示iOS系统中隐私设置或人脸识别功能的场景,直观呈现了系统中可能遇到的面部识别未识别成功的情况。

  • 可以隐藏应用

图片展示了一个室内场景,背景为玻璃墙和绿色植物。画面中央有一个大屏幕,屏幕上显示着一个带有多个应用图标的手机界面。画面下方有文字“我们也在添加新的方式来控制你与应用分享信息的方式”。该图片与文档中iOS隐私部分的内容相关,用于说明iOS系统中新增了控制应用分享信息方式的功能。

  • 控制应用的联系人访问权限
  • 类似于图像访问控制,可以选择要与应用共享的联系人
  • 配对配件时无需请求本地网络权限
  • (使用特殊的配件连接对话框)

iMessage

  • 稍后发送
  • 可以使用表情符号作为消息的反应

图片展示了iOS系统中iMessage界面,一条消息显示“如果早餐吃蛋糕是错的,我不想对”,下方有多个彩色表情符号。该图片位于介绍iOS系统iMessage功能的上下文部分,与上下文紧密相关,直观呈现了iMessage中使用表情符号作为消息反应的功能,体现了iOS系统在iMessage方面的创新与改进。

  • 文本格式,可以增加加粗,下划线,删除线等格式

图片展示了一位站在屏幕前的男性,屏幕显示两条消息。上方消息为“Guillermo Castillo”发的,内容是“很真实。原来滑梯是为孩子们准备的,因为消防部门花了两个多小时才把他救出来”,并配有表情符号。下方消息是“it's very real. Turns out the water slides are kids-only for a reason”,并配有表情符号。画面底部文字为“当格式化不够时,我们正在引入一种新方式”。此图与文档中介绍iOS中iMessage功能的内容相关,展示了iMessage中消息的样式。

  • 通过卫星发送 iMessage

电子邮件

  • 设备上的分类

图片展示了iOS设备上电子邮件应用的界面。界面上方显示“Inbox”及“Primary”标签,下方列出多封邮件,如“Tickets for tonight”“United Airlines”“Friday dinner”等,每封邮件有发件人、时间及邮件内容摘要。界面底部有“Select”按钮。图片下方文字说明“and helps you stay up to date across all of your accounts”,意为帮助你保持所有账户的最新状态。该图片与文档中介绍iOS电子邮件功能的内容相关,直观呈现了邮件应用界面。

  • 类别包括社交、促销、购物订单、更新等。按公司排序,因此可以看到 United Airlines 的所有电子邮件

图片展示了苹果在WWDC上介绍的邮件应用新功能。画面中有三部手机,分别显示了United Airlines、Poshmark、EatingWell的邮件界面。其中,United Airlines邮件界面有“Quick reminders about your trip”等信息;Poshmark界面有“Lessons in loungewear”等内容;EatingWell界面有“Daily Nosh”等推荐。画面下方文字说明该应用能汇总你从企业收到的所有相关邮件。此图与文档中介绍苹果邮件应用新功能的内容相契合,直观呈现了新功能界面。

新的地图功能

  • 徒步地图(美国)

图片展示了苹果地图应用中的徒步地图功能。左侧显示美国塞普尔卡国家森林地图,有多个绿色标记点,下方有徒步路线列表,如“Congress Trail Hike”等,可查看路线详情。右侧是“Congress Trail Hike”路线详情,显示2.7英里、1小时23分钟耗时、2,741英尺高度变化等信息,还提供“Check safety before hiking”和“Learn more”选项。图片与上下文介绍的徒步地图功能相契合,直观呈现了该功能的界面和信息展示。

  • 通过 Tap to Cash 汇款(无需电话号码)

图片展示了通过Tap to Cash汇款的场景。画面中有两只手分别拿着两部手机,手机屏幕显示“$20”等信息。画面下方文字为“a quick and private way to exchange Apple Cash”,意为“一种快速且私密的Apple Cash交换方式”。该图片与文档中“通过Tap to Cash汇款(无需电话号码)”的内容相关,直观呈现了这一汇款方式的操作场景。

  • 在线使用 Apple Pay 付款时,可以选择积分或分期付款

图片展示了iOS和MacOS的单独密码应用界面。左侧显示支付成功界面,金额为20,下方有“Thank you x 20!”及“From Store”字样,底部有蓝色勾选标志。右侧是Apple Pay支付界面,显示“Your cart: 95”,下方有“Double Click to Pay”提示,下方是支付选项,包括“Discover it”卡,显示5,000积分(850分已应用),还有“Change Payment Method”选项。该图与上下文介绍的iOS和MacOS的单独密码应用相关,展示了其支付功能界面。

游戏模式

  • 最大限度地减少后台活动
  • 提高了连接 AirPods 时的响应速度

图片展示了一只手握着iPhone,屏幕上显示照片应用界面。上方是照片网格,呈现多张不同场景的照片缩略图。下方有“Recent Days”和“People & Pets”两个分类,分别展示了最近几天和人物与宠物的照片。图片下方文字说明“with the photo grid at the top, and your library organized by theme below.”,与上下文介绍照片应用重新设计,基于主题、人物和旅行的收藏显示在照片网格下方的内容相呼应。

照片应用

  • 照片应用重新设计
  • 基于主题、人物和旅行的收藏显示在照片网格下方

图片展示了一部手机屏幕,显示的是照片应用界面。界面上方有“Photos”标题,下方有“Recent Days”“People & Pets”“Memories”等分类标签,每个分类下有相应图片缩略图。画面中一只手正在操作手机,另一只手在旁边辅助。图片与上下文紧密相关,上下文提到照片应用重新设计,基于主题、人物和旅行的收藏显示在照片网格下方,此图直观呈现了照片应用的界面样式。

iOS 和 MacOS 的单独密码应用

图片展示了苹果iOS和MacOS的单独密码应用界面,包括Mac、iPad、iPhone和Apple Watch等设备。Mac屏幕上显示“Passwords”应用,有多个网站和应用的密码记录;iPad和iPhone屏幕上也呈现了类似的应用界面,显示了不同网站的密码信息。下方文字说明“and on Windows, with the iCloud for Windows app.”,表明该应用还可在Windows系统上使用iCloud for Windows应用。此图与文档中介绍iOS和MacOS的单独密码应用的内容相关,直观呈现了应用界面。

iPadOS 18

图片展示了iPadOS 18的各项新功能,如浮动标签栏、SharePlay屏幕共享、计算器应用等。其中,最引人注目的是iPad上的计算器功能,满足了用户期待。图片中间大标题为“iPadOS”,下方文字强调这是iPadOS 18,进一步提升iPad的独特体验。图片与上下文紧密相关,直观呈现了iPadOS 18在iPad上的多项创新功能,呼应了文档中对iPadOS 18的介绍。

  • 浮动标签栏(可扩展为侧边栏),可以将项目从侧边栏拖到浮动栏

SharePlay 屏幕共享:点击并绘制以告诉其他人在哪里点击

图片展示了一只手拿着iPad的场景,iPad屏幕上显示着多个应用图标。画面中有一个蓝色箭头指向屏幕左上角的“?”图标。下方文字提示“And if you need to assist more directly, you can ask for permission”,意为“如果你需要更直接地协助,可以请求许可”。该图片与上文介绍iPadOS 18中SharePlay屏幕共享功能的内容相关,展示了在iPad上请求屏幕共享许可的操作界面。

iPad 上的计算器应用

最令人震惊的就是 iPad 上的计算器功能。在 iPad 问世14年后,终于在 iPadOS 18 中推出了计算器应用,满足了长期以来用户的期待。这里有一个理念:我们虽然迟到,但我们是最好的

其中计算器集成了新的数学笔记功能,**可以直接用笔触书写数学表达式,享受更为直观和自然的输入体验。当你在等号后稍作停顿,应用程序便会自动展示计算结果,而且结果同样是以手写形式呈现,既直观又亲切。不仅如此,它还支持从基础到科学级别的各种数学运算,甚至可以为变量赋值、插入图形以及在单一图形上应用多个方程式,功能强大。**对学生和专业人士来说非常方便。

不知道有这个计算器之后,高考题还需要自己做吗?

另外,该功能也扩展到了 Notes 应用程序,iPadOS 18为其带来了新的 Smart Script 功能,显著改善了手写体的清晰度,使书写和阅读体验更加流畅。当使用 Apple Pen 随时随地记下笔记时,此功能会自动修复笔迹。使它更清晰。据苹果称,该功能是使用强大的“设备上机器学习风格”来实现的。简单来说,就是人工智能。

图片展示了iPadOS 18中计算器应用的界面。左侧是iPhone界面,显示“1024x4”计算结果为“4096”,下方有数字、运算符等按键。右侧是iPad界面,同样显示“1024x4”计算结果为“4096”,并有更多数学函数按键。图片下方文字说明“它从你熟悉的iPhone计算器开始”。此图与上下文介绍iPadOS 18中计算器应用相关,直观呈现其界面及功能。

公式笔记,结果显示

  • 使用 Apple Pencil 在笔记中写下数学方程式,结果将自动计算并显示在屏幕上

图片展示了iPadOS 18中使用Apple Pencil在笔记应用中书写数学方程式的情景。画面中,一只手拿着Apple Pencil在iPad屏幕上书写,另一只手托着iPad。屏幕上显示“Scratch Math”标题,下方有多个数学计算公式及计算结果,如57 - 18 = 39、(3 + 4) × 20 = 140等。该图片与上下文紧密相关,直观呈现了使用Apple Pencil在笔记中书写数学方程式,结果自动计算并显示在屏幕上的功能。

能够根据变量值显示图形和计算结果

图片展示了iPadOS 18中笔记应用中智能脚本功能的使用场景。画面中,一只手拿着Apple Pencil在iPad上书写,另一只手调整角度。iPad屏幕上显示乒乓球运动轨迹的数学公式及图形,下方有“我可以在Pencil上方调整角度”的字幕。此图与上文提到的“能够根据变量值显示图形和计算结果”相呼应,直观呈现了该功能的实际应用效果。

  • 笔记应用中的智能脚本
  • 手写改进(使用本地机器学习来学习你的书写方式)

MacOS Sequoia

图片展示了macOS的多项新功能。上方有“Easier window tiling”等图标,下方有“Collections in Photos”等图标。中央大图显示“macOS”字样。右下角有“iPhone Mirroring”图标,显示iPhone与Mac连接画面。左下角有“Redesigned Reader”图标。图片下方文字“ A massive update to Safari helps you browse the web distraction-free.”表明Safari进行了重大更新,帮助用户在无干扰下浏览网页。该图片与文档中介绍macOS新功能的内容相契合。

iPhone 镜像

  • 即使你的 iPhone 在另一个房间,你也可以查看和控制 iPhone 的内容。支持无线操作

图片展示了MacOS系统中iPhone镜像功能的界面。画面中,Mac屏幕上显示了iPhone的桌面,桌面上有“iPhone Mirroring”字样。iPhone屏幕上呈现了Duolingo应用界面,显示“Select the correct image”提示,下方有四个选项,分别是“red apple”“the girl”“the boy”“the cat”。该图片与文档中“iPhone通知出现在MacOS上”内容相关,直观呈现了当点击iPhone通知时,应用将出现在Mac上的效果。

iPhone 通知出现在 MacOS 上

  • 当点击通知时,应用将出现在 Mac 上,声音将通过 Mac 的扬声器播放
  • 即使 iPhone 在充电和待机模式下,你也可以在 Mac 上使用 iPhone

图片展示了一台Mac电脑,屏幕上显示着iPhone的界面,旁边有手机支架,手机屏幕上呈现天气信息。画面中一只手在Mac键盘上操作。下方文字说明“我正在使用Unfold应用中的模板来发帖”。这与文档中“iPhone通知出现在MacOS上”部分内容相关,展示了即使iPhone在充电和待机模式下,也能在Mac上使用iPhone的场景,体现了iPhone与Mac的无缝连接。

  • 将文件从 Mac 拖放到 iPhone
  • 自动将窗口放置在网格位置

图片展示了MacOS自动将窗口放置在网格位置的功能。画面中,左侧显示了“Adventures in Camp”网站界面,右侧是“Sequoia Group Expenses”应用界面,下方还有“Congress Trail Hike”地图和图表。画面底部文字说明“macOS automatically suggests a tiled position on your desktop”,表明MacOS会自动将窗口放置在桌面的网格位置,这与文档中“自动将窗口放置在网格位置”这一功能介绍相契合。

演示者预览

  • 在共享之前预览窗口
  • 为你的视频添加背景(使用 MacOS 原生 API)

图片展示了MacOS演示者预览功能。画面中显示了Mac屏幕,左侧有女性的面部特写,右侧是演示者预览界面,显示了“iPhone Camera”“Portrait”“Studio Light”“Reactions”等选项,还呈现了“Background”选项。画面下方有英文文字“you can now replace your background with some beautiful built - in backgrounds”,与上下文介绍的演示者预览功能相呼应,即在共享之前可预览窗口,并能为视频添加背景。

Safari

  • (AI)使用机器学习检测和突出显示信息(音乐、人、电影、地点)

图片展示了Safari浏览器中的一篇文章界面。文章标题为“Apple TV+’s New Kristen Wiig Series ‘Palm Royale’ Reveals First Looks (TV News Roundup)”,作者是Valerie Brew,发表于variety.com,时间为2023年12月12日6:38pm PT。界面右下角有“Show Reader”按钮,下方有“Text Size”“Find...”“Website Settings...”选项,还显示了“Palm Royale 2024 - 1 Season (TV - USA)”等内容。图片与上下文关系紧密,直观呈现了Safari浏览器中使用AI获取文章摘要并显示自动生成目录的功能。

  • (AI)获取文章摘要并显示自动生成的目录

图片展示了MacOS Safari浏览器界面,左侧显示文章标题“Can Meditation Change Your Mind?”,配以紫色抽象艺术风格插图,下方有“Read more”按钮。右侧是文章内容概要,包含目录、摘要等信息。图片下方文字“right next to the article”表明右侧内容与左侧文章紧密相关。该图与上下文介绍的Safari浏览器功能相契合,直观呈现了其获取文章摘要并显示自动生成目录的功能。

游戏

  • Gaming Porting Toolkit 2 使将你的 Windows 游戏移植到 Mac 变得容易。轻松将 MacOS 游戏导出到 iOS

图片展示了一款在iPhone上运行的游戏画面。画面中,一个带有红色火焰的黄色角色正在战斗,背景为城市街道场景。画面左上角显示“05 19:55:19”和“00:00:00”,右上角有“100%”和“100%”字样。画面底部有四个控制按钮。该图片与文档中“游戏”部分内容相关,直观呈现了Gaming Porting Toolkit 2使将Windows游戏移植到Mac变得容易,以及轻松将MacOS游戏导出到iOS的功能。

音频和家庭

  • 摇头表示拒接电话,点头表示接听电话
  • 游戏中的空间音频(开发者个性化空间音频 API)
  • 将电视节目中的音乐添加到你的资料库
  • 字幕改进
  • Portrait TV 桌面壁纸,Apple TV+ 节目可设置为壁纸

图片展示了苹果在音频和家庭方面的多项新功能。左上角是免提解锁UWB锁,右上角是FaceTime实时字幕。中间部分有新Apple TV屏保、重新设计的Apple Fitness+、InSight for Apple Originals、On - device Siri on Apple TV、个性化空间音频API等。下方有语音隔离在AirPods Pro、Siri交互在AirPods Pro、SharePlay与HomePod、字幕改进、Portrait TV桌面壁纸、Apple TV+节目可设为壁纸、219格式投影等。图片与上下文紧密相关,直观呈现了苹果在音频和家庭领域的创新成果。

Apple Watch

图片展示了watchOS的多项新功能。上方有“Check In”等应用,中间是“Vitals”和“Training Load”等界面,下方有“Double tap API”等交互功能。中间大区域突出显示“watchOS”,下方有“a more intelligent Smart Stack, Training Load, the Vitals app”等文字。图片与上下文紧密相关,直观呈现了watchOS在健康监测、运动训练等方面的新功能,与文档中介绍的watchOS新功能内容相契合。

跟踪锻炼强度

  • (根据年龄、心率和其他数据评估)

图片展示的是Apple Watch的跟踪锻炼强度界面。界面上方显示时间为10:09,有“X”关闭按钮和三条横线图标。中间有蓝色折线图,下方有“Steady +12%”和“Typical”两个选项,分别对应不同锻炼强度。底部文字说明“你的锻炼强度对身体的影响随着时间推移而变化”。该图片与文档中“跟踪锻炼强度”内容相关,直观呈现了Apple Watch根据年龄、心率等数据评估锻炼强度的功能。

自定义 iPhone 健身应用的概览屏幕

图片展示的是自定义iPhone健身应用的概览屏幕。屏幕中央是Summary部分,显示了Move、Stand、Burn等数据。左侧有Trends、Stand Minutes、Walking Pace、Cardio Fitness等板块,呈现不同运动数据。右侧有HIT with Kim、Running、Cycling等板块,展示相关运动课程和数据。底部还有Training Load、Well Above等板块。该图与上文提到的自定义iPhone健身应用概览屏幕内容相契合,直观呈现了应用界面。

新的生命体征应用

  • 查看心率等指标,比较趋势,并在出现重大变化时收到通知

图片展示的是Apple Watch的界面,时间显示为10:09,日期为Today。界面上方有天气图标,显示为多云。中间部分以蓝色条形图呈现心率、血氧、体温、水分和睡眠等健康指标。下方突出显示心率56BPM,处于正常范围。底部文字提示“and explore your most important health metrics with just a glance.”,意为只需一眼即可探索你最重要的健康指标。该图与上下文介绍的Apple Watch新功能相呼应,展示了其健康监测功能。

智能堆栈

  • 小部件会自动添加。例如,如果下雨,将显示降水图

图片展示了一款Apple Watch的界面。界面上方显示日期“MON JUN 10”,中间有手表指针。下方有一个蓝色背景的“Rain Starting 15 MIN”提示框,表明15分钟后开始下雨。框内有蓝色柱状图,代表不同时间段的降雨情况。底部有时间标识“NOW 9AM 10AM 11AM 12PM”。图片下方文字说明“like the precipitation widget to alert you before it rains”,意为“喜欢这个降雨小部件,以便在下雨前提醒你”。此图与文档中介绍Apple Watch新功能的内容相关,展示了智能堆栈中自动添加的天气小部件。

双击 API

  • 在应用中实现双击操作(双击执行操作)
  • 找到用于手表界面的完美照片

最后的话

苹果在2024年的全球开发者大会(WWDC)上,向世界展示了其不满足于小步快跑的渐进式创新,而是要大胆地推动技术边界,开创一个设备与生活无缝融合的新时代。在这次大会上,苹果的公告彰显了其雄心壮志,预示着我们的设备将变得更加智能,能够预测并满足我们的需求,成为我们生活中不可或缺的伙伴。

Apple Intelligence 作为苹果在人工智能领域的旗舰技术,正在引领我们进入个人计算的新纪元。这项技术赋予了设备更深层次的理解能力,让它们能够更好地服务于用户,无论是工作、学习还是日常生活。

此外,苹果对旗下操作系统的一系列增强,包括 iOS、iPadOS、macOS、watchOS 和 tvOS,进一步强化了其构建一个统一、直观的生态系统的承诺。这些更新不仅提升了用户体验,还确保了苹果设备在不同场景下都能提供一致且高效的服务。

这次 WWDC 不仅是对苹果技术实力的展示,更是对未来愿景的一次大胆宣言。我们期待着苹果如何继续以其创新精神,推动科技与人类生活的深度融合,开启一个更加智能和互联的未来。

图片是一幅卡通插画,画中是一个穿着白色T恤、蓝色牛仔裤的小女孩,扎着双丸子头,面带微笑,右手竖起大拇指,左手拿着一张钞票。上方文字为“今天你若动手点赞,明日必将暴富百万!”该图片位于文档结尾处,起到鼓励点赞的作用,与文档整体风格相契合,增添了趣味性。

如果本文对你有帮助,欢迎为元峰点个赞👍。