AI，先在口袋里发生：云端将退到后台

在健身应用 SmartGym 里，一段对训练的描述，可以被整理成包含组数、次数、休息时间和器械安排的计划。苹果在 2025 年 9 月介绍这项功能时，给出的关键细节是：它调用的语言模型就在设备上，通过 Foundation Models 框架运行，不必为每次推理向云端模型付费。[1]

这比手机里又多一个聊天窗口更值得关注。AI 正在进入应用原本的操作：理解输入、整理信息，再把结果变成能用的内容。用户不必每次都把材料搬到另一个服务里，等它算完，再搬回来。

端侧 AI 会让云端退居后台。这个判断说的是日常交互的顺序，以及私人信息由谁先处理，不是数据中心会停止扩张。设备承担越来越多贴近用户的小任务，云端仍负责模型训练、复杂推理和需要外部资源的工作。变化发生在默认路径上：以前先上传再计算，今后越来越多任务会先在设备内处理，确有必要时才升级到云端。

模型开始适应手机，而不只是手机追赶模型

把大模型塞进手机，最直观的办法是减少参数、降低精度。这样做能省内存和计算，却也会损失能力。端侧模型这几年的推进，还包括一件更细致的工作：重新安排模型如何读取权重、使用内存，以及为不同任务调用多少计算。

苹果在 2026 年 6 月公布的第三代基础模型里，AFM 3 Core 是 30 亿参数的稠密模型；更大的 AFM 3 Core Advanced 则采用稀疏架构，总参数量为 200 亿，每次按任务激活约 10 亿至 40 亿参数。按照苹果披露的设计，完整权重放在闪存中，选中的部分加载进运行内存，共享部分保持活跃，生成过程中还会周期性重选。[2]

稀疏架构把模型的总容量和每次需要动用的计算分开了，闪存与运行内存的配合则让设备有机会容纳更大的权重集合。硬件仍有门槛：苹果明确说，Core Advanced 面向其能力最强的 Apple silicon 系统，并未把这项能力承诺给所有旧手机。[2]

开放模型提供了另一条路径。Google 的 Gemma 4 文档列出，E2B、E4B 的移动版本静态模型加载内存估算分别约为 1.1GB、2.5GB，移动运行路径使用 LiteRT-LM。不过，这张估算表没有把运行软件和上下文缓存都算进去。对话越长，记录已处理内容的 KV Cache 就可能占用越多内存。[3]

这些数字让“本地运行”变得具体，也暴露了边界。一份短笔记和一整天的会议记录，不是同一种负担。模型文件能下载、能加载，不等于应用能长时间稳定运行，更不等于它能同时理解手机里的全部资料。

芯片厂商也在处理同一个问题。高通在 2026 年 9 月介绍的新一代 Hexagon 架构，把更大的共享内存、低位宽计算和 Transformer 加速放在一起；联发科在天玑 9500 的发布资料中，强调 NPU 990、低位宽模型处理和更快的模型加载。[5][6] 这些是厂商公开的设计和性能宣称，不能直接换算成每台手机的实际生成速度。它们有价值的共同点是：端侧 AI 的竞争已经深入到数据搬运和内存组织，而不只是计算峰值。

NPU 是神经网络处理器，但本地 AI 并不意味着所有工作都由 NPU 完成。高通自己的说明也把 CPU 的编排任务、NPU 的模型加速和 GPU 的 AI 能力分开讨论。[5] 对应用开发者而言，模型、运行时和设备能否配合，往往比芯片宣传页上的数字更重要。

日常智能的入口，会从聊天框移到应用内部

一款记事应用要从几段话里提取待办，不需要回答世界上所有问题；一款相册应用要理解当前照片，也不必每次都向远端发送原图。端侧模型适合的机会，常常藏在这些范围明确、输入已经在设备内的操作里。

苹果的 Foundation Models 框架已把设备上的模型交给应用开发者使用，支持结构化生成和工具调用。[1] Android 侧，ML Kit 的生成式 AI 接口通过系统服务 AICore 调用 Gemini Nano，提供摘要、改写、校对、图像描述等能力。这条系统托管路径，和开发者自行下载、嵌入 Gemma 权重，是两种不同的部署方式。[4]

框架的意义在于减少重复建设。做应用的人不必都从模型训练、格式转换和硬件适配开始，才能尝试一个文字整理功能。他们可以把更多精力放在任务上：输入是否足够、哪些字段必须保留、用户怎么修改结果、失败时怎样恢复。

但系统模型也有使用边界。Google 当前文档明确写着，ML Kit 生成式接口存在应用配额、电量配额，以及必须在最上层前台应用内运行的限制。[4] 所以，能在打开的应用里生成摘要，不能被直接宣传成“后台全天候替你处理一切”。

更值得期待的产品，是把一个小动作做得足够可靠。比如先在本地整理一段录音，标出待确认的日期和人名，再交给用户修改；或者从一份资料中提取相关段落，复杂分析才调用云端。这里描述的是可设计的工作流，不是上述框架已经自动实现的完整功能。

私人数据留在身边，信任还要落实到权限

本地推理最直接的隐私收益，是原始输入可以不因这次推理而上传。敏感照片、私人笔记和商业资料少经过一个远端系统，就少了一条需要信任的数据链路。

隐私承诺的范围，需要沿着应用实际的数据流检查。模型在本地运行时，应用仍可能同步文件、上传诊断日志，或者在本地能力不足时切换到云端。Google 对 ML Kit 的承诺是，其生成式接口的输入、推理和输出在本地处理；应用的其他操作需要分别检查。[4]

真正值得追问的是：它读取哪些资料，建立了什么索引，索引能不能删除，哪些内容会被上传，切换到云端时有没有提示。对需要处理私人信息的产品，这些问题应当出现在界面和权限设计里，而不是只留在宣传页上。

本地运行也不会自动修复模型的错误。一个摘要可能漏掉限制条件，一段文档可能含有诱导模型执行额外操作的文字。即使资料从未离开设备，错误地发送消息、修改日历或删除文件，照样会造成损失。

因此，读取权限和行动权限必须分开。允许助手理解一封邮件，不等于允许它替你发出去；允许它检查账单，不等于允许它付款。涉及发送、删除和资金的动作，应保留明确确认。端侧 AI 越接近私人资料，这条边界越重要。

图：产品评估框架。用于说明应检查的边界，不代表安全认证或设备实测。

云端同样可以争取更高的隐私标准。苹果在 2026 年公布扩展 Private Cloud Compute 时，披露了与 Google、NVIDIA 合作处理高复杂度任务的安排，并把无状态计算、限制特权访问和可验证透明度作为系统要求。[7] 这是一种端云协作的安全设计；资料毕竟离开了设备，不能把它称作本地处理，也不能仅凭厂商承诺就宣布风险为零。

快的价值，是不用每个动作都等网络

本地推理仍有模型加载、输入处理和输出生成的耗时，设备发热、内存紧张时也可能变慢。它缩短了向远端传输、等待服务和接收结果的那部分路径。

对一个很短的整理任务，这部分等待可能决定体验。用户输入尚未结束，应用就能开始处理已获得的内容；某项能力所需的模型和资料都已在设备上时，断网也不会让它立刻消失。离线能力有前提：模型、语言包、必要文件得先准备好，功能本身也不能依赖在线检索。

衡量速度需要看完整任务。Intel 的 OpenVINO GenAI 文档把模型加载、首个词元等待时间、后续词元耗时和生成吞吐分别列出来。[9] 手机应用还应检查持续运行后的内存、耗电和温度。只展示最快的一次响应，很难说明日常使用是否舒服。

本地模型也未必处处更快。如果设备要生成一篇很长的分析，远端的强模型可能更早完成。端侧的优势在于减少不必要的往返，让高频小动作稳定可用，而不是承诺手机永远胜过服务器。

少一次云端调用，改变的不只是账单

云端模型按使用量收费时，每一个自动触发的小动作都可能变成成本。功能使用得越频繁，开发者就越要考虑：值得生成吗，要不要限制次数，能不能改成更便宜的模型。

设备内推理给这种设计增加了余地。苹果对 Foundation Models 框架、Google 对 ML Kit 的公开说明，都强调无需为每次本地调用支付额外的服务端推理费用。[1][4] 这不等于整个产品免费：适配、评估、模型下载、维护仍有成本，用户也付出了电量、内存和存储空间。但高频小任务的边际成本结构确实变了。

能源账也需要把范围说清。IEA 在 2026 年的《能源与 AI 关键问题》中估计，2025 年全球数据中心用电增长了 17%，其中以 AI 为重点的数据中心增长了 50%。这些是数据中心层面的增长数字，并不是某款聊天模型的电费。[8]

把合适的任务放到设备端，可以减少对应的服务器请求和数据传输；能节省多少总能耗，还要比较模型效率、设备状态和任务质量。一个反复运行、把手机烤热的本地流程，未必比一次有效的云端请求划算。

更低的单次成本也可能带来更多使用。IEA 同时指出，效率在提高，但 AI 使用扩大、推理和代理等高耗能任务增加，仍在推高需求。[8] 所以，端侧 AI 成为主要交互入口，完全可能与云端算力继续增长同时发生。

对做应用的人，这意味着商业价值可以从“转售一次模型调用”，逐步转向“把用户的工作处理好”：资料整理得准不准，结果能不能落到原来的应用里，出错后能不能找回。模型运行在哪里，只是其中一部分。

云端退到后台之后，交接规则更重要

一种合理的端云工作流，可以从原始资料开始：设备先转写、提取、检索相关片段，检查敏感信息；能够本地完成的任务到此结束。需要更强推理时，先确定上传范围和授权，再把必要材料交给云端。结果回到设备后，由应用呈现，涉及重要动作时请用户确认。

图：建议的端云工作流。它描述产品设计思路，不是某个现有产品的数据流审计。

这种分工并不天然可靠。本地摘要可能丢掉合同里的例外，提取阶段可能把金额单位认错，隐私检查也可能漏掉可识别个人的细节。云端收到一份整洁的输入，不代表收到了一份正确的输入。复杂任务需要保留可回查的原文和出处，必要时增加核验环节，不能把前处理当作万能净化器。

这也决定了“处理海量私人数据”应该怎样理解。设备可以保存许多资料，按权限建立索引，再为当前任务检索少量相关内容；不需要把整座资料库一次塞进模型。持有数据、检索数据和准确理解数据，是三个不同的能力。

下一轮设备升级，值得看的会包括这些不容易写进参数表的表现：应用是否知道只读取当前需要的资料，断网后哪些功能还能工作，什么时候请求云端帮助，重要动作有没有留给用户最后一步。

理想的私人助手，不需要用户把全部生活先交给一座远端服务器。它应该能在设备里把草稿整理好，把准备上传的内容摆出来，在“发送”之前停下来，等那一次明确的确认。

资料来源

[1] Apple：Foundation Models 框架与应用案例，2025 年 9 月 29 日

[2] Apple Machine Learning Research：第三代基础模型，2026 年 6 月 8 日发布，9 月 9 日更新

[3] Google：Gemma 4 模型与移动内存估算

[4] Google：ML Kit 生成式 AI 接口、AICore 与运行限制

[5] Qualcomm：Hexagon NPU 的移动代理架构，2026 年 9 月 10 日

[6] MediaTek：天玑 9500 发布资料，2025 年 9 月 22 日

[7] Apple Security Research：扩展 Private Cloud Compute，2026 年 6 月 8 日

[8] IEA：《能源与 AI 关键问题》执行摘要，2026 年 4 月

[9] OpenVINO GenAI：推理性能指标

资料核验截至 2026 年 10 月 12 日。厂商披露用于说明技术路径，文中的产品建议与趋势判断不代表设备实测结果。