让生成结果进入修改流程：Canva 的设计模型、视觉智能体与成本工程

一、嘉宾背景

本期 The TWIML AI Podcast 由 Sam Charrington 主持，嘉宾为 Canva AI 研究负责人 Stefano Caraza。约57分钟的访谈围绕设计生成、编辑、迭代与推理经济性展开：模型如何规划布局、生成图像、修改设计文档，以及这些操作如何以可承受的速度和成本持续运行。

Canva 提供设计工具，Caraza 所在的研究团队利用设计数据开发图像生成模型 Craft，以及用于设计创建与编辑的视觉语言模型 Brush。他称，访谈时 Canva 约有100个 AI 模型在生产环境运行，其中包含小模型。他讨论的模型选择与工程取舍，来自这套设计产品中的研发和运行实践。

Craft 与 Brush 采用了不同的开发路径。据 Caraza 介绍，Craft 从零训练，Brush 则建立在开放权重模型之上。团队根据具体需求决定自行训练还是利用已有模型能力。这一背景也限定了访谈经验的适用范围：他的判断依托 Canva 的设计数据、产品需求和整合条件，能否用于其他设计场景，仍需结合相应条件检验。

二、本期主要内容

Craft 将生成流程分为输入与上下文增强、结构化场景规划、像素生成三个部分。Caraza 介绍，各组件分别训练，团队也检查端到端效果。场景规划以文本表示，但其中包含边界框、相对位置和绝对位置，因此布局在像素生成之前就已经可以被检查和调整。他举例说，同一页面可以先生成10种布局，由人确认后再渲染。人的判断由此进入生成过程，而不必等整张图完成后再提出修改。

已有图像也能进入编辑流程。Craft 支持先改变元素大小与位置，再生成像素；Magic Layers 则可以把平面图像拆成图层和元素。Caraza 称，Magic Layers 处理的图像多数来自 Canva 外部。这些素材一旦获得可编辑结构，用户就能更明确地调整其中的对象。自然语言位移指令则有自身限制：如果图像缺乏尺度信息，模型就难以确定指令对应的实际移动距离。

训练数据既影响生成内容，也影响这些结构能否发挥作用。Caraza 列出的来源包括经许可的用户数据、外部授权内容、图库、合成数据，以及 Canva 创建或授权的数百万份设计。团队通过增加多样性减少输出雷同，并服务不同市场和语言。规划与渲染也需要共同调整：他称，过去六个月，场景描述明显变得更详细，扩散模型也略微扩大，以匹配规划提供的信息量。描述中的细节需要有相应的渲染能力承接。

Brush 处理的是包含文字、矢量、图像和多个图层的设计文档。它调用设计工具重新布局、改善可读性，也响应抽象的风格要求。Caraza 举出的场景包括制作品牌风格一致的30页幻灯片。这类任务要求模型在多个页面和元素之间选择、组合设计操作，并保持文档的一致性。

这些能力也已开始向外部工作流开放。据 Caraza 介绍，Craft 已通过 Canva Connect API 和 Canva MCP 提供访问，既有开放能力还包括 Magic Layers 与 Lucid Origin，后续 Craft 变体也计划加入 MCP。他将需求分为企业自定义工作流和智能体调用两类，生成结果可以回到 Canva 继续编辑。他还称 MCP 用量快速增长、企业业务同比三位数增长，但没有附上详细统计。这些说法反映了他对需求的描述，尚不能据此计算具体采用规模或商业回报。

三、核心观点：推理、例子与边界

Caraza 将反复修改视为设计产品必须支持的基本过程。他认为，AI 通常只能完成约70%—80%，最后的调整仍需人参与。他还谈到等待超过10秒、乃至一分钟对创作的影响。这些数字来自他的经验判断，节目没有提供完成率或等待阈值的测量。但它们指向同一个产品问题：用户需要不断澄清意图，每轮等待都会累积为完成任务的总时间。首次生成的效果，因而只能说明设计流程的一部分。

结构化场景规划让修改可以更早发生。Caraza 举例说，同一页面可以先生成10种布局，经人确认后再生成像素；元素的大小和位置也可以先调整，再交给模型渲染。相比只靠自然语言描述位移，直接操作元素能更明确地表达几何意图，因为图像本身未必提供足够的尺度信息。不过，规划越详细，并不意味着结果必然越好。Caraza 介绍，过去六个月，团队明显增加了场景描述的细节，也略微扩大了扩散模型，使渲染能力能够承接规划中的信息。结构化表示的价值，取决于后续模型能否把这些信息落实到图像中。

自研模型的经济优势同样有前提。Caraza 将 Canva 的依据归于独有数据和深度垂直集成。他声称，专用模型可能以少两个数量级的参数胜过大模型，Canva 同类设计任务的成本约为最昂贵前沿模型的1/40。他还判断，经过适当调优并配置相应数据，约1000亿参数或以下的规划 LLM/VLM 可以完成多数创意任务，视频理解可能例外。访谈没有提供可复现的对照条件，未列明任务集合、模型配置或成本核算方式；每张图约1美元，也只是他用来说明前沿模型经济压力的估算例子。这些说法支持围绕具体任务研究模型适配，尚不足以确定普遍最优的模型规模。

速度还会影响模型修改结果的方式。Brush 能观察生成结果，并据此继续操作。Caraza 用展示给用户前进行约10次迭代的设想，说明低延迟的价值：单轮足够快，系统才有空间在交付前多次检查和修改。不过，节目没有给出相应的质量收益测量，也没有证明增加循环次数就会持续改善结果。要判断这类反馈循环是否有效，仍需明确每轮修改依据什么标准，以及最终结果是否更符合任务要求。

评测因此需要覆盖完整的设计过程。Caraza 认可主持人所述 Craft 当时在 Design Arena 约居第四的表现，同时认为公开基准偏重首次生成，对编辑、速度和成本覆盖不足。他举出的 Present Bench 约有200个演示文稿相关任务，也不能替代对整个设计流程的考察。已有内容能否被正确修改、修改后能否保持协调，以及完成任务需要多少时间和成本，都影响产品的实际价值。Canva 据他介绍采用明确的评分准则，让 VLM 评价可读性、布局与构图，同时保留人工评估。他强调，人必须先能表达质量标准，模型才有可据以判断的要求。

风格差异也会被综合排名掩盖。Caraza 称，Craft 在人像、人物和自然景观上表现较好，卡通类别却未进前三。他推测，面向写实效果的优化可能让卡通图像过于真实、偏向3D，团队正在通过微调和强化学习调整风格，而非重新预训练。类别表现是他报告的现象，写实优化带来的影响则是原因推测；访谈没有提供独立的因果验证。

Brush 的工具接口体现了另一项工程取舍。Caraza 称，其 harness，也就是模型调用工具、接收反馈的运行框架，已发展到第三代，方向是更薄、更简单：让模型写代码操作工具，并充分观察输出。代码可以涉及设计抽象、API 调用和布局操作。移动、旋转、放大既能表示为完整状态，也能表示为差异或编辑 API 调用，团队倾向选择更贴近模型已有训练分布的形式。接口是否有效，要看模型能否正确使用，以及返回结果能否支持下一步判断。

四、学习与应用

设计产品团队可以将评测推进到一次完整、可检查的修改过程。评估时既要看指令是否落实，也要看其他内容是否受到不必要影响，以及完成任务的总耗时和成本。按照 Caraza 介绍的评分准则，将可读性、布局和构图分别评价，并保留人工审看，才能检验视觉反馈循环是否改善结果。他所说的约10次迭代，可以作为待验证的策略，尚不能据此设定固定轮数。

工具接口也需要在具体任务中比较。移动、旋转、放大可以用完整状态、局部差异或编辑 API 表达，评估重点是模型能否正确表达操作、工具能否执行，以及返回结果是否足以支持纠错。Caraza 团队选择贴近模型已有训练分布的表示，为这种比较提供了依据。简化运行框架时，也需要保留模型判断下一步操作所需的反馈。哪种接口更合适，仍要由任务结果决定。

成本优化首先取决于瓶颈和团队能够控制的环节。Caraza 将推理效率与免费用户的 AI 可及性联系起来，特别提到学生和非营利组织。他以一个月10倍性能提升、两周5倍提速说明优化仍处于早期，但没有提供具体基准。他列出的优化层包括硬件、GPU、内核、模型执行步数、蒸馏、部署、批处理和缓存。要将这些经验用于自身产品，需要先确定哪些环节可以调整，再测量调整对实际任务的影响。

据 Caraza 介绍，Canva 不拥有底层实体硬件，但在云端自行运行、优化和服务模型。权重访问、自托管，以及 AI 研究、图形工程和云扩展团队的协作，使其拥有更大的优化空间。开放权重是一条路径，无法获得所需权重时，团队也可能自行建模。其他团队能采用多深的优化，取决于是否具备这些条件；成本比较应落在自身可控制的服务和任务上。

探索与交付也可以采用不同的速度和保真度。访谈时，Canva 已宣布后续推出 Craft Fast 和 Craft Ultrafast。Caraza 表示，团队通过蒸馏等手段协同优化 LLM 与扩散模型，让快速版本用于原型探索，让最高保真版本服务于更重视质量的任务。由于规划与渲染共同决定结果，提速后还需检查两者是否匹配，单个组件的性能变化不足以说明整个流程的收益。

视频成本的说法则需要保留核算边界。Caraza 报告，每秒720p视频的生成成本约一年从0.5美元降至不足1美分，但没有交代质量、硬件及核算口径。他预测成本可能再降一个数量级，并将每张图或每秒视频0.1美分描述为潜在的普及突破点。这些是他报告的变化和对未来的判断。采购、容量规划与产品承诺仍需以自身任务的测量为依据。

面向智能体开放能力时，Caraza 主张提供结构化信息、易于理解的文档，以及无需先订阅的试用入口，让智能体先构建、测试并验证原型，再由人类批准扩大使用。产品可以据此检查从理解接口到验证原型的流程是否顺畅，同时明确扩大使用时的人类批准环节。

研究管理则需要同时容纳稳定方向与项目调整。Caraza 表示，AI 可及性、迭代创作和消除工作流障碍等研究使命保持不变，具体项目可以每隔几个月随业务机会与瓶颈调整。他称，当时发布的模型项目一年前均未启动。这反映了其团队调整项目的节奏；其他团队如何安排，仍需依据自身业务机会与瓶颈，而不能直接把这一时间表当作通用要求。

来源

• 原始节目：AI Design Still Feels Like a Slot Machine