在WWDC 2024期间，苹果向满怀期待的观众倾注了大量人工智能，让我们沉浸在 Apple Intelligence 旗下的全新 AI 功能中。但所有这些功能是如何工作的呢？
什么是Apple Intelligence
苹果刚刚举行了其最具开创性的 全球开发者大会 (WWDC) 主题演讲之一，宣布主要的人工智能 (AI) 功能将在今年晚些时候出现在其 iPhone、iPad 和 Mac 操作系统上。
虽然我们并没有想到该公司会推出一系列让我们大吃一惊的华丽生成式 AI 功能，但新的 AI 公告仍然足以让 WWDC 活动的观众震惊。
苹果预计将重点将人工智能融入其应用程序，以简化用户的日常任务，并将此类人工智能功能归类为“Apple Intelligence”。我们并没有错过这个文字游戏。
Apple Intelligence 专注于具有广泛吸引力的 AI 功能，而不是高级图像和视频生成。为此，该公司开发了内部 AI 模型，并与 OpenAI 合作开发聊天机器人，将 ChatGPT集成 到 iOS、iPadOS 和 MacOS 中。
苹果智能是做什么的？
Apple Intelligence 的一些最重要的 AI 功能包括：
- 改进了 照片编辑功能，例如使用照片中的 AI 去除对象。
- 更好地控制 Siri 应用程序和操作，包括要求 Siri 查找电子邮件或编辑照片。
- 根据文本提示AI生成自定义表情符号。
- 生成笔记、短信线程、电子邮件和其他文本的快速摘要。
- 自动建议对电子邮件和消息的回复。
- 改进的邮件应用程序可以对电子邮件进行分类并生成消息。
- 自动转录语音备忘录。
- Xcode 的 AI 增强功能可自动完成代码。
除了这些 AI 功能外，iOS 18 还将为控制中心、设置和消息添加新的可自定义图标和界面更新。Apple 还将推出一款新的 密码应用程序 来取代 iCloud 钥匙串，为用户提供更人性化的选项，类似于 1Password 和 LastPass。
Siri 是否会进行 Apple Intelligence 改造？
Siri 正在从内到外进行升级。虚拟助手有了新的外观和一系列新功能供用户使用。Siri 徽标经过重新设计，用户与 Siri 对话时看到的不是气泡，而是环绕设备边缘的全新彩色灯光，照亮显示屏。
除了外观之外，Siri 现在能够更自然地理解和响应，使互动感觉更像人类。人工智能助手还能够保持从一个请求到下一个请求的上下文，以准确回答后续问题。
借助 iPhone、iPad 或 Mac 上的上下文和屏幕感知，Siri 还可以从电子邮件、图库中的照片或信息中获取信息，做出推断。苹果分享了一个例子，Siri 能够在朋友通过短信分享地址后，将地址添加到联系人卡片中。
语音助手还可以在 Apple 和第三方应用程序中执行数百项新操作，例如从阅读列表中打开文章或在图库中查找特定照片。
苹果还在升级 Siri，使其能够理解文本，让用户可以根据需要键入内容或与 Siri 对话。
Apple 的照片编辑和搜索功能有哪些新功能？
与 Google Pixel 的 Magic Eraser 一样，Apple 为其设备提供了一项名为 Clean Up 的全新 AI 照片编辑功能。此工具可识别背景中分散注意力的物体，将其移除并重新生成背景。这非常适合移除照片干扰物和其他物体。
苹果正在为其照片应用添加自然语言照片和视频搜索功能。这样一来，用户就可以输入提示来搜索图片、视频，甚至是视频的某个片段。用户可以说“找到去年夏天我们在海滩上发现的那只海星的照片”，然后他们的 iPhone 就会调出一张照片，而不必滚动数千张照片来找到那张。
在照片应用中，用户还可以通过文字提示来制作“回忆”视频。这些视频将根据描述编辑视频和照片，并附带 Apple Music 的音乐建议。
系统范围的 AI 文本生成如何工作？
Apple 为 iPhone、iPad 和 Mac 推出了全新的系统级写作工具，可帮助用户使用 AI 重写、校对和总结文本。您可以快速生成回复或总结长电子邮件以了解其内容。
同样的功能可以帮助用户对文本进行重大编辑，例如改变语气以使其更具同理心或校对以发现错误。
苹果设备还将获得语音备忘录和电话中录音和转录的 AI 升级，因为用户可以使用 AI 快速转录语音笔记。
什么是图像游乐场？
苹果将允许用户使用 AI 在 Messages、Photos Notes、Keynote、Freeform、Pages 和第三方应用中通过 Image Playground 生成图像。图像可以采用动画、插图和 Sketch 样式生成。
例如，在 Notes 应用中，一个名为 Image Wand 的新工具可让您圈出一个粗略的草图，并使用设备上的 AI 让 Image Playground 从周围区域提取想法来生成图像。
Image Playground 将于今年秋季推出测试版，部分功能将于明年发布。
ChatGPT 会登陆 iPhone、iPad 和 Mac 吗？
在苹果忙于向我们推送 AI 更新的同时，它还证实了与ChatGPT背后的公司OpenAI 建立新合作伙伴关系的传闻。此次合作将使 ChatGPT 与 Siri 和系统范围的写作工具集成。
当用户发出 Siri 请求，而语音助手认为 ChatGPT 更适合处理该请求时，虚拟助手会询问他们是否可以与 AI 聊天机器人分享他们的提示。然后，它会在同一窗口中显示 ChatGPT 响应。
苹果表示，其 ChatGPT 集成已实施隐私保护措施，IP 地址被隐藏，OpenAI 不会存储请求。只要设备兼容最新操作系统，iPhone、iPad 和 Mac 上的 ChatGPT 即可免费使用。付费 ChatGPT 用户将可以使用其他 Plus 功能。
Apple Intelligence 是在设备上还是在云端处理？
几个月来，有传言称苹果正在研究各种方法，以确保其人工智能在设备和隐私方面严格在设备上运行。然而，预计 Apple Intelligence 至少会依赖云端来完成部分任务，尽管该公司优先考虑在设备上处理以增强隐私。具体任务是在设备上还是在云端处理，将取决于任务的复杂性、资源可用性、数据隐私考虑和延迟要求。
从本质上讲，如果任务足够简单，可以在本地处理，充分利用设备的处理能力和电池寿命，并且需要立即得到结果，那么它更有可能在设备上处理。涉及敏感数据的任务也可以优先在设备上处理，因为苹果优先考虑数据隐私。
反过来，基于云的 AI 处理需要将数据从设备发送到可以处理复杂或计算量大的任务的远程服务器。在 Apple 的案例中，需要处理大量数据或更新模型的任务可能包括复杂的分析和高级生成 AI请求。
苹果正在利用所谓的私有云计算来完成需要云服务器的复杂任务。这些流程利用更大的基于服务器的模型，同时保护用户隐私。服务器基于 Apple Silicon 构建，数据永远不会保存在云端。
根据任务的复杂性和系统要求，算法将决定需要 AI 的任务是在设备上处理还是转移到云端。Siri 请求等简单任务和其他基本 NLP 任务可以在设备上处理。生成大型文档的详细摘要等更复杂的任务将被发送到云端，在那里可以进行更强大的处理。
Apple Intelligence 真的是私密且安全的吗？
苹果软件工程高级副总裁 Craig Federighi 在 WWDC 2024 主题演讲中表示：“Apple Intelligence 具有开创性的隐私保护功能。”苹果在发布 Apple Intelligence 时大力强调消费者隐私，Federighi 表示其“架构以隐私为核心”。
该公司正努力通过多种机制确保人工智能功能的安全。其中包括：
- 设备上处理：本地计算过程可确保敏感和私人信息始终处于用户的控制之下。任务直接在设备上处理，这需要强大的计算能力。这就是为什么 Apple 要求其 AI 功能在 A17 Pro、M1 和更新的处理器上运行。
- “私有云计算”或安全云处理： Apple 使用安全、专用的 Apple 硅片服务器来处理无法在设备上处理的复杂任务。它还使用加密验证，只允许已公开记录软件以供检查的服务器与 Apple 设备通信。
- 限制数据共享，不保留：苹果向消费者保证，当需要将数据发送到云服务器时，只会发送必要的信息，从而减少暴露。它还表示，这些数据不会被保留，从而进一步保护消费者的隐私。
- 独立代码审查：借助私有云计算，苹果解释说，代码可供独立专家检查并验证其是否符合隐私标准。
- 数据加密： Apple 对其服务器发送和接收的所有数据进行加密，以增加另一层安全保障。
- 选择退出的能力：也许最重要的是，用户可以选择加入 Apple Intelligence 功能，该功能将作为测试版推出，因为 Apple 会不断努力改进其 AI 功能。
Apple Intelligence 的技术要求是什么？
苹果的新 AI 功能将与最新的苹果设备兼容，包括搭载 A17 Pro 芯片的 iPhone 15 Pro 或更新型号，以及搭载 M1 芯片或更新芯片的 iPad 和 Mac。
虽然这些 AI 功能可能有助于推动新款 iPhone 和 Mac 的销售，但作为 iPhone 14 Pro Max 的现有用户，我希望至少其中一些功能能够扩展到旧款 iPhone 机型上
苹果智能（AI）
- 苹果发布了名为 Apple Intelligence的全新“个人智能”系统。该系统将生成模型置于苹果设备生态系统的核心位置。
- 借助 Apple Intelligence，您的 iPhone 可以对 通知进行优先排序 ，以确保您仅在一天中至关重要的时候收到通知。
- 该版本包括 利用人工智能的写作工具 ，包括可在邮件、主题演讲、第三方应用程序等中使用的重写、校对和总结文本功能。
- 用户现在可以在照片库中创建 个性化图像 ，包括草图、插图和动画。此功能可在信息、应用程序、Freeform、Keynote 和 Pages 中使用。
- Apple Intelligence 可以利用工具并 代表您执行任务，例如“向我显示所有照片”、“播放播客”或“提取同事上周与我共享的文件”。
- 由于它以您的个人信息和背景为基础，并且可以从您的应用程序中检索数据并引用您屏幕上的内容，因此 Apple Intelligence 被定位为您的 个人助理。
- 苹果强调了 Apple Intelligence 内置的安全和隐私预防措施 ，特别是针对设备上的智能处理。该公司大力宣传 Apple 芯片 A17 Pro 及其 M 系列芯片（M1、M2、M3 和 M4）的安全性。
- 对于无法在设备上处理而需要在云端完成的任务，Apple 推出了 私有云计算，它通过在专门使用 Apple Silicon 创建的服务器上运行来保护用户的隐私。当用户发出请求时，Apple Intelligence 首先测试设备上的功能，但如果任务需要更多功能，则会调用私有云计算。Apple 重申，用户数据绝不会存储或出售给外部方。
- Siri 终于得到了应有的 AI 改造，首先是新的外观：轻点时，光线会环绕屏幕边缘。由于更先进的自然语言处理 (NLP)，Siri 现在可以 更好地理解用户，即使他们说话结巴。它现在具有 对话 上下文，可以记住你刚才说的话并使用它来完成下一个任务。用户还可以 向Siri输入请求 。由于拥有 深入的产品知识，Siri 可以回答有关 iPad、iPhone 和 Mac 上功能的问题。Siri 还将拥有 Apple Intelligence 的 屏幕感知功能，让它根据看到的内容采取行动。语音助手还可以 跨应用程序采取行动 ，包括照片编辑。通过访问你的 个人上下文， Siri 可以理解和完成新命令，例如从照片中提取你的驾照信息并将其输入到表格中。Siri 更新也将适用于 iPad 和 Mac。
- Apple Intelligence 还为 Mail中的新功能提供支持，包括 “重写”，它为用户提供已起草内容的不同版本。 建议 以内联方式显示，并 校对 语法、词汇选择和句子结构的 编辑。您还可以使用“摘要” 将文本转换为项目符号。 智能回复 可识别电子邮件的相关选择并使用它们来帮助撰写自定义消息。摘要现在将显示在电子邮件的顶部，使浏览收件箱更加容易。Apple Intelligence 甚至可以帮助您确定 电子邮件的优先级 ，将最重要的内容放在收件箱的顶部。
- 有一个全新的专注选项： 减少干扰。在此设置下，您的手机将仅根据您的个人活动和背景向您显示最重要的内容。
- Genmoji 允许用户根据输入的内容创建 AI 生成的表情符号 。您还可以根据朋友的照片创建 Genmoji。Genmoji 可以内嵌在信息中，甚至可以用于 Tapback。
- Image Playground 允许用户利用设备上的 AI 根据文本提示创建图像，这些图像可在 iMessage 和其他应用中轻松共享。该功能还可在 Keynote、Pages 和 Freeform 中使用，也可作为独立的 Image Playground 应用使用。
- Notes 应用中的图像魔杖 可将草图转化为精美的图像，并可直接在工具面板中使用。例如，您可以在 Notes 中圈出草图，然后打开图像游乐场，将您的涂鸦转化为完整的图像。
- Apple Intelligence 还将升级照片应用，推出一款新的 清理工具 ，可删除不需要的对象。 视频搜索功能 可让用户轻松找到特定的内容片段，用户还可以 按需 创建回忆，使用文本编辑和整理照片，制作成电影。
- 在 Notes 应用中，用户可以 录制和转录音频，Apple Intelligence 将生成其文本摘要。这种体验在 Notes 手机应用中也可用。
- Apple Intelligence 在 iOS 18、iPadOS 18 和 MacOS Sequoia 上免费，今年夏天仅提供英文版试用。
与 OpenAI 合作
- 苹果还通过将ChatGPT与 Siri 集成来确认与 OpenAI 的合作伙伴关系。在用户许可的情况下，Siri 可以向 ChatGPT 发送帮助请求。例如，如果您向 Siri 寻求它认为更适合 ChatGPT 的任务的帮助，Siri 会建议您改用聊天机器人并转发您的请求。ChatGPT 的写作功能也可以在某些写作任务中得到利用。
- 用户可以通过此集成免费访问 ChatGPT，OpenAI 不会记录他们的数据。ChatGPT Plus 用户可以连接他们的订阅以访问更多高级功能，在这种情况下，OpenAI 的数据使用政策适用。
- ChatGPT 集成将于今年晚些时候登陆 iOS 18、iPadOS 18 和 MacOS Sequoia。
iOS 18
- iPhone 和 iPad 用户将能够 进一步自定义主屏幕， 将应用程序放置在屏幕上的任何位置，而不是通常的固定网格。 应用程序图标颜色 也将可自定义，允许用户将应用程序设置为他们想要的任何颜色，甚至可以与主屏幕相匹配。用户还可以将应用程序图标更改为 暗色模式。
- 经过五年的沉寂， 控制中心 终于迎来了多项升级，包括可以 通过点击、长按和重新排列来自定义切换功能，例如手电筒、屏幕录制、计算器、自动旋转、屏幕镜像等。控制中心切换还将提供不同的页面，其中包含完全可自定义的用户控件，用户可以 在锁定屏幕的底部 切换控件。
- 苹果还增加了隐私选项，包括锁定应用程序的功能 ，要求用户在访问应用程序之前使用 Face ID 或密码进行身份验证。用户还可以 隐藏应用程序，使其从主屏幕消失到应用程序库的隐藏部分。
- 信息功能 得到了多项升级。Tapbacks 允许用户通过按住消息来对消息做出反应，该功能已升级为具有不同颜色并包含表情符号。用户可以为特定短语或单词添加 文本效果，而不是整个短语。还可以使用粗体、下划线、斜体和删除线 等格式选项进一步自定义文本 。最后，用户将能够 安排消息。
- iPhone 14 及更高型号将具有新的 卫星信息 功能，该功能允许用户在没有 Wi-Fi 或蜂窝服务时通过卫星发送信息。
- 邮件 应用程序 将自动对电子邮件进行分类，该功能将于今年晚些时候推出。
- 现在， Wallet 应用程序 允许用户通过手机互碰来 兑换 Apple Cash ，而无需他们共享电话号码等个人信息。
- 日志应用程序现在 将显示 更多统计数据和见解，包括您今年有多少条目、您记了日志的天数等等。
- iPhone推出了一种新的游戏模式 ，旨在帮助游戏玩家优化游戏体验。这包括最大限度地减少后台活动和使用响应速度更快的配件，例如控制器。
- 苹果 公司对照片应用 进行了“有史以来最大的重新设计”，其特点是设计更简洁，新的轮播功能每天都会更新精彩内容，可以固定收藏夹，并且搜索功能得到改进。
- 信息应用程序现在支持 富通信服务 (RCS)。
- Safari 应用程序 已升级，包含有关网页的关键信息。您可以在本文的 MacOS 部分下阅读有关 Safari 升级的更多信息。
- 日历应用程序现在 可以从提醒应用程序中提取信息，以获得更无缝的日程概览。
WatchOS 11
- 新的训练负荷 让用户能够深入了解他们的锻炼强度如何影响他们的长期表现。
- 新的 Vitals 应用程序将 让用户快速查看他们最重要的健康指标，包括心率、呼吸频率、腕部温度、睡眠时间和血氧。它还将提供背景信息，帮助他们做出更明智的决定。如果出现异常，用户将收到提醒他们异常的 ping。
- 当用户在 iPhone 或 iPad 上的健康应用中记录怀孕时， Apple Watch 上的 周期跟踪 应用 会升级以显示孕龄，并允许用户记录怀孕期间出现的症状。怀孕用户还可以要求提醒每月进行心理健康评估。使用行走稳定性功能，用户还可以收到跌倒风险增加的警报。
- 用户还将体验更加 可定制的活动环， 当他们想休息一天时，可以暂停环，而不会影响他们的连续获奖记录。
- Apple Fitness+ 已升级，包括个性化的“为你推荐”标签、“探索”和“图书馆”标签、搜索功能和增强的奖励。
- 智能 堆栈 也变得更加智能：它现在能够在需要时自动建议小部件，还有其他改进。
- 使用 watchOS，用户可以根据美观度、构图、面部表情等标准从照片库中 获得有关表盘最佳照片选项的建议 。表盘还可以使用不同的大小、布局和字体进行自定义。
- 即使在锻炼期间，Apple Watch 上也可以使用“签到”功能 ，以帮助用户保持安全。 翻译 功能也将登陆 Apple Watch，因此用户可以直接从手腕上翻译文本。
- 另一个显著的变化是 可以使用双击手势 来滚动浏览应用程序。
iPadOS 18
- 此次更新将采用重新设计的 标签栏 ，该标签栏悬浮在应用内容上方。用户可以自定义标签栏，以展示自己喜欢的应用并访问应用中最重要的部分。您还可以长按标签栏来移动它。标签栏还会变身为侧边栏，以提供更多见解。
- Shareplay 将允许用户 远程控制 其他人的 iPad 或 iPhone 并 在他们的屏幕上分享绘图。
- 在期待已久的版本中，iPad 将 首次 拥有计算器应用，其界面与目前 iPhone 上的相同。此外，用户可以通过新的数学笔记 体验将其与 Apple Pencil 一起使用，该体验允许用户用自己的笔迹写下表达式，一旦他们输入等号，计算器应用就会为他们解答。
- Notes 中的手写功能也得到了升级，加入了 智能 脚本，可以优化用户的书写，使其更清晰易读，同时保持用户手写风格的真实性。该功能还可以将复制和粘贴的文本与用户的手写内容进行匹配。输入的文本也得到了增强，增加了五种新的高亮颜色，并可以在标题或副标题下切换部分。
- iPadOS 18 支持 通过 SharePlay 进行屏幕共享， 以及与 iOS 18 相同的控制中心自定义、照片应用程序升级、Safari 更新和表情符号 Tapback 。
MacOS 15（红杉）
- 苹果发布了 MacOS Sequoia， 它将包含 iOS 18 和 iPadOS 18 中添加的许多新功能，包括更新的 Safari、照片、信息和新的 密码管理应用程序。
- Mac 上新的 iPhone 镜像 功能让用户几乎可以完全通过 Mac 体验手机。例如，iPhone 通知现在可在 Mac 上使用，让用户可以与它们交互并打开相应的应用程序，尽管 iPhone 本身将显示为锁定状态。
- 窗口平铺功能 现已推出，可帮助用户保持井然有序。当用户将窗口拖到屏幕边缘时，macOS 会自动建议平铺位置。
- 视频会议 也进行了升级，拥有新的背景和预览体验，让您可以在分享之前查看要分享的内容。此功能适用于 FaceTime 和 Zoom 等热门视频会议应用程序。
- AI 摘要 工具 将内置于 Safari 中，帮助用户更高效地处理网页和文章等内容。Safari 还将帮助用户在浏览页面时发现更多有用信息，例如路线。
- 苹果还推出了全新的 Viewer 体验，其对视频的作用相当于 Reader 对文本的作用。
VisionOS 2
- 苹果发布了其最近发布的 VisionOS 的首个重大升级——VisionOS 2。
- 在 Vision OS 2 中，照片功能得到了升级，用户可以将任何 2D 照片转换为 空间 照片，并增加相机胶卷中已有瞬间的深度。
- 照片应用中的空间角色可让用户一起查看照片，从而创造更加共享的体验。
- VisionOS 2 还支持新的手势操作，让用户可以更轻松地访问某些设置。例如，用户可以张开双手点击进入主屏幕，或者转动手腕查看电池电量。
- 将 MacOS 镜像到 Vision Pro 的用户很快就会获得更高的分辨率和更大的尺寸，从而创建相当于两个并排的 4K 显示器的 超宽显示器视图。
- Vision Pro 还将包括火车旅行模式支持，让您在通勤期间的工作更加轻松。
- Vision Pro 现在将提供访客用户选项，允许其他用户保存他们的眼睛和手部数据 30 天。
- 用户现在可以个性化他们的主视图，将应用程序放置在他们想要的任何位置。
- 用户现在可以在使用 Safari 时在环境中观看视频，甚至可以在 YouTube 和 Netflix 等网站上观看视频。
- Apple TV为 Vision Pro 带来了多视图功能，这在观看体育比赛时特别有用。
- 用户可以使用 AirPlay将内容从 iPhone、iPad 或 Mac 投射到 Vision Pro。
- Apple 还将从 6 月 28 日起在更多国家/地区发售 Vision Pro。您可以在此处查看完整列表。
AirPods
- AirPods Pro 正在添加语音隔离功能，以增强嘈杂环境中的通话质量。
- 通过新的Siri 交互，用户现在可以 在回应 Siri 时点头或摇头表示“是”或“否”。
- 苹果还发布了个性化空间音频 API，供游戏开发者围绕 AirPods 的音频技术进行构建。
tvOS 18
- 当用户观看 Apple TV+ 节目或电影时，tvOS 上的新InSight 功能将包含演员姓名和音乐标题等其他信息。然后，用户可以轻松地将这些音乐标题添加到他们的 Apple Music 播放列表中。当使用 iPhone 作为遥控器时，InSight 信息也会出现在智能手机上。
- 增强对话功能已升级，可在 Apple TV 4K 上提供比电影或节目的其他元素（例如音乐或背景噪音）更清晰的声音。
- 经过优化，当语言与某个设备不匹配、用户静音或跳回时， 字幕会自动出现。
- 苹果增加了对21:9 格式的支持，以便在投影仪上观看内容。
- 有新的、有趣的屏幕保护程序，包括肖像、电视和电影以及史努比。
- 在 tvOS 18 上使用FaceTiming时，用户现在可以选择美国和加拿大的英语 实时字幕。
- tvOS 还将提供重新设计的Apple Fitness+体验，包括新的“为你推荐”、“探索”和“图书馆”空间。