Kimi K3.1：从漂亮成品到可靠交付，还有哪些缺口

一、主讲人与议题背景

《They actually did it... (Kimi K3.1)》由 Matthew Berman 在 Matthew Berman / Forward Future 名下呈现，时长约 26 分钟。所给材料是主持人的评论与作品演示，没有可确认的嘉宾访谈。理解这期节目的判断，需要先看 Berman 如何使用模型，以及他展示了哪些结果。

Berman 说，他付费订阅了 Kimi，下载桌面应用，并制作了多个项目。在手机任务中，他明确使用 K3.1 Pro 的高推理强度，并解释，为了保持一致，没有使用最高推理强度。节目以这些亲测作品为主体，再讨论发布材料中的规格、基准和价格。这些材料能够呈现具体条件下的交付表现，但不足以构成覆盖各种场景的系统实验。

Berman 将 Kimi 评价为很好的开放权重模型，同时认为，初步亲测结果仍逊于 Opus 5.5 和 GPT 6.1 Sol。这是他的评测意见，并非独立确立的模型排名；具体作品及其缺陷，才是判断这一意见适用范围的依据。

二、本期主要内容

浏览器三维魔方是 Berman 给予高度肯定的作品。演示包含随视角变化的反光、按面旋转、打乱、键盘控制、计时、撤销、重置、速度调整和求解功能。他尤其强调，求解器会计算解法，再逐步执行，并非简单倒放此前的操作。在他的评判中，这个案例的视觉效果与操作功能都达到了要求。

手机模型把评测重点转向了还原准确性。任务要求用 WebGL 制作节目所称 iPhone Duo 的浏览器模型。Berman 肯定了反光效果，却指出标志不准确，屏幕分割也不符合目标产品。他说首次生成耗时 28 分 45 秒，过程中已经进行过网页搜索。随后，他要求模型重新研究外观、规格和尺寸，再做一次。所给转写没有交代这次返工的结果，无法确认问题是否得到修复。

绳结任务进一步检验结构关系。Berman 要求使用 Blender，意在同时考察电脑操作、搜索和空间理解。成品虽然具有类似八字的轮廓，却没有正确打结，也没有连接到安全带，因此被他判为失败。随后生成的第一版教学动态图形据称耗时约 5 分半钟，成片为 28 秒、1080p、无声。Berman 认为，绳索交叉处仍不够清楚，无法让观众理解打结过程。

作为对照，他展示了 GPT 6.1 Sol 在中等推理强度下、按照同一文字任务生成的 54 秒动画，并赞赏其中更清晰的上下穿绕关系。回到 Kimi，他提出让动画更漂亮。返工增加了阴影、深度线索和镜头运动，但在他看来，关键的绳索交叉仍然难以辨认。这次修改改善了呈现，却没有解决此前妨碍理解的结构表达问题。

浏览器障碍赛则呈现出功能范围与实际体验之间的落差。据 Berman 介绍，项目耗时 48 分钟，包含 CPU 对手、多种障碍和控制功能。试玩时，他指出配色偏粉彩、碰撞不准确，并出现闪烁。这个项目交付了较完整的功能框架，但生成时间和功能数量并未保证实际操作质量。

三、核心观点：推理、例子与边界

魔方、手机和绳结的结果说明，“会做三维作品”包含多种不同能力。魔方要求状态变化与操作反馈一致；手机模型要求忠实还原特定对象；绳结则必须准确表达连续绳索的穿绕和连接。反光漂亮不能证明对象准确，轮廓像八字也不能证明绳索真正打成了结。一个任务的成功，不能自动证明模型能够胜任其他空间任务。

动画返工尤其清楚地暴露了这些差别。阴影、深度线索和镜头移动改善了视觉呈现，却没有补上理解动作所需的信息。教学动画首先要让观众辨认关键操作。Berman 认为对照版本的上下穿绕关系更清楚，但这只是少量作品之间的比较：节目没有提供重复试验的准确率统计，也没有在这些任务之间进行受控、推理强度一致的比较。演示中还包含应接受合格教练指导的提示，动画的呈现效果不足以证明它可以独立承担攀岩教学。

绳结名称也有证据边界。转写中的叫法并不一致，展示的动态图形则明确标为 figure-eight follow-through，即回穿八字结。分析可以围绕这一展示任务，检查连接和穿绕是否清楚；不能把转写中出现的每个名称都当作已经确认的技术识别。

网站和游戏则说明，满足可见要求之后，作品仍可能无法达到实际用途。按 Berman 的说法，Forward Future 网站改版遵循了品牌颜色和字体，但间距仍有问题，设计也带有明显的 AI 生成感。障碍赛具备 CPU 对手、多种障碍和控制功能，碰撞却不准确。Berman 刻意使用短提示词，观察模型自行补足需求时的判断与审美；他也建议，用户若对配色、动画、关卡设计或技术有明确要求，就应提供细节。因此，这些结果主要反映模型在简短指令下的默认表现，不能据此认定它在充分约束下的表现上限。

基准图表暴露的是事实可靠性问题。Kimi 最初给出宽泛的能力分类，随后补上具体基准名称和数字，又在追问下承认数字是虚构的占位内容。Berman 提供已发布的 Kimi 基准数据后，还需要再次要求它生成图片。这个过程足以说明：具体的测试名、精确的数字和完整的版式，都不能证明数据有可靠来源。图表是否适合发布，必须另行核验数据。

模型规格同样需要保留归属。Berman 引用的规格是总参数 2.8 万亿、激活参数 1040 亿、100 万 token 上下文窗口，以及混合专家架构。他确认模型可以接收图像，但没有测试视频，对音频的支持也只是推测。他还转述了金融建模中幻觉减少 65% 的宣传说法，但这段讨论没有给出比较基线或评估方法，无法据此判断改善适用于哪些任务和条件。

节目引用的成绩包括：Terminal Bench 上，Kimi 为 65.7，Opus 为 66.4；GDPVal 上，两者分别为 1846 Elo 和 1866 Elo；Kimi 的 OSWorld 成绩为 79.6，Artificial Analysis 智能指数为 55。Berman 同时表示，他个人对电脑操作模型的偏好与 OSWorld 排序并不一致。榜单和亲测提供的是不同条件下的证据，需要结合各自的任务与评估方式理解。他还根据呈现方式、警告语和能力侧重点的相似之处，提出可能存在蒸馏或偏重基准的猜测，但节目没有提供训练来源或实验依据，不能将这些猜测当作模型表现的既定原因。

开放权重带来的选择也需要具体看待。Berman 看重能够下载权重、自行选择部署地点，包括在美国数据中心运行。节目没有说明许可证条款、所需硬件或部署经济性，因此只能确认这些选择值得进一步评估，不能据此推断个人设备必然能够运行，或所有用途都不受限制。

四、学习与应用

这些案例可以归纳出一种分层验收的方法：先确认作品能否运行，再检查操作与状态是否一致，随后核对目标对象、数据和内容，最后评价视觉效果。这是根据节目提出的工作建议，并非 Berman 已经验证的标准流程。分层检查有助于把返工要求指向实际缺陷：手机外观失真需要核对资料，游戏碰撞异常需要检查交互，绳结穿绕不清需要改进结构表达。笼统要求“再精致一点”，可能只会改变外观。

验收应检查决定作品能否使用的关键关系。魔方要看转动后的色块状态是否连续一致；产品模型要核对屏幕结构、标志及尺寸依据；游戏要实际检查碰撞与动作反馈。调用搜索工具只能证明进行过搜索，不能证明资料已被正确理解并落实到作品中。手机案例耗时 28 分 45 秒，且包含网页搜索，仍出现还原错误；其后追加研究的结果没有展示，也不能预先认定这一轮返工有效。

说明性动画的返工要求，需要直接写明缺失的信息：交叉点的上下关系、连接位置，以及动作前后的状态。修改后再检查这些信息是否变得清楚。这样的规格与复核会增加工作量，但更贴近教学动画的用途。涉及攀岩等依赖正确操作的内容，还应保留接受合格指导的边界；仅凭本期的少量动画对照，无法确认作品足以作为操作指南。

图表与报告应先确认数据，再制作视觉表达。每个基准名称、数值和来源都可以逐项对应，并在发布前回查；缺少来源时，应明确保留空缺。节目中虚构占位数字的问题说明，这一步不能由版式完整度代替。不过，这一案例也不足以证明其他输出必然包含虚构数据，它支持的是增加核验步骤。

模型选型还需要区分发布演示、主持人亲测与外部评估。Berman 展示了已发布的金融建模、FreeCAD 涡扇和 Blender 建筑演示，同时明确表示，自己尚未获得展示中那样的三维结果。如果工作需要这些能力，就应使用自己的输入和约束尝试复现，再决定能否承诺交付。一次成功或少量对照，都不足以估算稳定成功率。

成本也应按任务衡量。节目引用的常规 API 价格为：每百万输入 token 2 美元、每百万输出 token 10 美元、每百万缓存输入 token 0.20 美元。高速版对应价格为 4 美元、20 美元和 0.20 美元，并宣称速度提高至两至三倍。这些都是节目引用的价格与速度主张。Berman 还援引每项智能任务的成本：Kimi 为 2.11 美元，Fable 5.1 为 7.63 美元，Muse Wonder Max 为 4.54 美元。他据此强调，token 单价必须结合完成任务实际消耗的 token 数量来看。

用于采购评估时，可以在代表性任务中记录总 token 消耗、等待时间、返工次数和验收结果，再比较获得可接受成果的成本。这些测量会增加前期投入，却能让成本比较覆盖实际交付过程。节目没有提供足够条件，将上述每任务成本直接外推到某家企业。开放权重部署也需要另行核实许可、硬件和运行成本；能够下载权重，本身并不能证明可以节省多少费用。

来源

• 原始节目：They actually did it... (Kimi K3.1)