..

iPhone 是最好的 AI Agent 平台

开发 Mi·Museo 的过程中,我认为 iPhone 到目前为止还是最好的 AI Agent 平台(之一)。原因是这个 App 需要展品图像识别、语音导览、内容检索。核心能力几乎全部来自系统 AI 基础设施:Vision 框架做图像分析,Natural Language 做文本处理、检索,Speech 做语音转文字。然后写一个 Loop+LLMs 就能把这些能力组合起来,形成一个完整的 Agent。

此外,Apple Music 和 Podcasts 提供的内容层,以及 Photos 的 AI 图像搜索,这些能力加在一起,构成了一个开发者在其他平台上很难复制的起点。可惜,图片 AI 检索等功能国内至今受限。Google 也能提供类似的能力,但大量 Android 设备并不具备这些能力。

为什么是 iPhone

AI Agent 需要三件事:感知、理解、行动。iPhone 在前两件事上,积累了将近十年。

苹果从 iOS 10(2016 年)开始系统地构建端侧 AI 基础设施。Speech 框架处理语音转文字(iOS 10+),Vision 覆盖图像识别、物体检测、文字识别(iOS 11+),Natural Language 处理文本分类与语义理解(iOS 12+)。这三套框架的共同特点:全部在本地运行,无网络依赖。不同代际芯片的实际能力有差距,但跨机型都可运行,省去了为多个平台单独适配的摩擦。1

对开发者来说,这是可以信赖的基础设施,不是每次都要重新适配的碎片。此外,这也有助于压缩分发包的大小,因为不需要把模型和推理引擎打包进 App,可以轻松把安装包控制在几十兆以内。对用户来说,不用动不动就下载一个带有大几百兆模型的 App。

Core ML(iOS 11+)是这栋大楼的地基。它让开发者做简单的开发,即可在所有 iPhone 上调用 CPU、GPU、Neural Engine 的算力,并自动在三者之间分配工作负载,最小化功耗。2 安卓阵营的高通(Hexagon NPU)、联发科各有开发 SDK,近年通过 Google Play 服务也在推进跨机型 AI 能力覆盖,碎片化程度相比早年有改善。但芯片平台间的能力差距与版本分布,仍让深度优化的成本高于 iOS。

还有一个被低估的优势:内容与数据。

Apple Music 突破 1 亿首曲目(2022 年),Apple Podcasts 收录了数百万节目,Photos 里存着用户多年的记忆。通过 MusicKit 和 Photos 框架,第三方 App 可以直接访问这些内容。3 一个了解你音乐口味、可以检索你五年前照片的 Agent,和一个每次都要重连外部服务的 Agent,体验差距不是一点点。iPhone 上大部分个人数据本来就在这里,Agent 调用的成本极低。

Photos 的 AI 识别能力也在持续积累。Visual Look Up 从 iOS 15(2021 年)开始识别植物、动物、地标、艺术品,随 Apple Intelligence 进一步增强了自然语言照片搜索。4

在个人数据方面,相对电脑,手机中的个人数据更丰富、更及时。而这些都是 Agent 更加需要的新鲜、优质的上下文。

一旦涉及到个人数据,信任也是一道壁垒。Agent 需要深度接触消息、照片、支付。用户愿不愿意把这些权限交出去,取决于他信不信这个平台。苹果坚持端侧优先推理。复杂任务走 Private Cloud Compute 时,「用户数据对苹果任何人员都不可见,包括拥有管理员权限的运维人员」。5 苹果公开所有生产版本的软件镜像供安全研究者审计,把信任从单方面承诺变成了可验证的产品。

不过,需要认识到的是,苹果的隐私承诺也是其在 AI 时代的最大紧箍咒,由于其过度的隐私(至少在我看来)限制了 Agent 的能力的推进。

其他硬件能取代 iPhone 吗

也许能,但赢法很可能是变成另一台 iPhone。

AR 眼镜是最常被提起的替代者。它有终极优势:第一视角,永远在线,Agent 直接叠加在现实上。但 2026 年的 AR 眼镜,仍在手机的「黑莓时代」。出货量几百万台,生态刚刚起步,多数用户还在适应佩戴这件事本身。

如果AR眼镜能够推广,苹果在这个赛道上,反而是准备最充分的那位。

Vision Pro 的价值不在销量,其预估销量在40万台左右,而在于验证了一整套技术栈。眼球追踪、空间理解、端侧视觉 AI,都已在 visionOS 上跑通。苹果花十年在 iPhone 上建立的隐私架构,天然可以迁移到眼镜形态,避免「摄像头无处不在」带来的信任崩塌。

一旦芯片工艺支撑将 Vision Pro 的核心能力压进眼镜,苹果的进入成本是最低的。软件栈、传感器融合经验、开发者生态都已就位。其他眼镜厂商要从零建立用户对「摄像头时刻朝着所有人」的信任,这面墙比算力更难翻越。

Meta Ray-Ban6 这类穿戴摄像头,印证了持续视觉感知是 Agent 的下一个入口。但目前这些产品的共同短板是:隐私基础设施薄弱,依赖云端处理,生态孤立。这恰好是苹果最擅长填补的空白。

安卓旗舰走了另一条路。部分机型实现了 GUI 级的全界面自动操作,一句话可以跨应用比价、下单、填表。这是 iPhone 不会放开的功能,也是重度用户的真实刚需。但生态碎片化是道门槛,体验一致性弱,开发者适配成本高。

AI PC 适合复杂的生产力任务。桌面 AI 盒子可以 24 小时值守,做 iPhone 受续航限制做不到的长周期任务。这些都是真实的增量市场,但针对不同场景,不构成对随身通用终端的替代。并且对于 Apple 来说,以 Mac Mini(以后或许是 Mac Pro 这类旗舰产品)为代表的AI Agent的发展,反而是对 iPhone 的补充,而不是替代。

其他硬件要在消费级随身市场赢过 iPhone,路径只有一条。建立足够统一的硬件规格,保证多平台体验一致性,同时赢得用户对系统的信任。这套逻辑做到极致,就会变成另一台 iPhone。华为鸿蒙在中国市场,可能是目前最接近这条路径的竞争者。

Apple 缺少什么

App Intents7 是苹果的(准) Agent 框架,核心是白名单机制。开发者主动申报可被调用的能力,经审核后列入白名单,Siri 只能在这个范围内行动。

目前接入的App开放的能力十分有限。大多数只能做到「打开 App」,远不是任务执行。

这不是技术问题,是生态延续和商业竞争下的选择。一方面,沙盒机制是 iOS 安全模型的基石,也是 App Store 商业模式的前提。放开 GUI 级的跨应用操作,会同时击穿这两道墙,苹果大概率不会这样做。另一方面,App 提供商多大程度愿意交出入口是很存疑的,这涉及到这些 App 提供商是不是还有机会在用户的使用路径中对用户行为进行强控制,比如插入广告、收集数据等。这对淘宝、京东、拼多多这类非内容消费类的 App 来说,将是毁灭性的。厂商不是被逼上绝路,很难主动妥协。

还有地区限制(政治和地区性合规因素为主)的问题。国行 Apple Intelligence 直到 2026 年中才完成合规备案,采用第三方云端模型做底座,与海外版体系完全不同。在全球第一大智能手机市场,iPhone 的 Agent 体验长期处于半成品状态。🤷

坦白地说,本文论证的几大优势,Apple Music 等内容生态、Photos 视觉搜索、PCC 云端隐私,在全球第一大智能手机市场大多受限或不可用。「iPhone 是最好的 AI Agent 平台」这个判断,在海外市场的说服力远强于国内。

苹果的结构性优势是时间积累的。最大的变量是计算形态的跃迁,手机到眼镜的那一天,优势要重新排位。Vision Pro 已经替苹果提前占好了位置。如果出货量能够跟上,价格将急剧下降。到时候,$3499 的 Vision Pro 是一坨翔,$299 的 Vision Lite 是真香。

但愿Apple不要辜负微微微微小股东的大大大大的信任,成为可以让人信赖的老登平台。


  1. Apple Developer Documentation — Speech(iOS 10.0+)、Vision(iOS 11.0+)、Natural Language(iOS 12.0+)框架:developer.apple.com/documentation/speechdeveloper.apple.com/documentation/visiondeveloper.apple.com/documentation/naturallanguage 

  2. Apple Developer Documentation — Core ML(iOS 11.0+):developer.apple.com/documentation/coreml。原文:「Core ML optimizes on-device performance by leveraging the CPU, GPU, and Neural Engine while minimizing its memory footprint and power consumption.」 

  3. Apple Developer Documentation — MusicKit:developer.apple.com/documentation/musickit。Apple Music 突破 1 亿首曲目,Apple 于 2022 年宣布。 

  4. 开发 Mi·Museo 时格外可惜:一个可以直接识别展品、关联知识库的功能,在国内用户手里是锁着的。 

  5. Apple Security Research Blog — Private Cloud Compute(2024 年 6 月):security.apple.com/blog/private-cloud-compute。原文:「User data is never available to Apple — even to staff with administrative access to the production service or hardware.」 

  6. Meta Ray-Ban 是 Meta 与全球眼镜巨头陆逊梯卡(EssilorLuxottica)旗下雷朋(Ray-Ban)联名推出的消费级 AI 智能眼镜系列,主打「日常化、轻量化、无违和感」的佩戴体验,是当前全球销量最高、市场份额最大的消费级智能眼镜产品,也是 Meta 落地「环境 AI」战略的核心硬件载体。 https://www.ray-ban.com/usa/ray-ban-meta-ai-glasses 

  7. App Intents 是苹果官方的系统级开发框架,允许开发者以结构化方式声明应用的功能动作与内容实体,使其可被 Apple Intelligence、Siri、快捷指令、Spotlight 等系统服务发现并调用,是苹果生态内 AI 代理调度第三方应用能力的标准入口。 https://developer.apple.com/documentation/appintents 

EOF 🤞