金融版 ChatGPT 的关键工程：Joseph Kim 谈数据交付、专业判断与职业评测

一、嘉宾背景

Joseph Kim 是 OpenAI 金融服务负责人，负责 ChatGPT 金融产品相关的产品与工程工作。在这期 Latent Space 访谈中，访谈者介绍他来自研究侧，如今领导产品与工程；Kim 表示，自己在相关产品上工作了约六个月，也投入大量时间研究评测。这些职责和经历构成了他讨论模型能力、产品交付与质量判断的背景，访谈并未提供完整的职业履历。

Kim 将 ChatGPT for financial services 介绍为一款企业产品，结合 ChatGPT 工具、企业专属模板和金融数据源，并称 Morgan Stanley、Evercore 是设计合作伙伴。设计合作让团队能够接触机构需求，但访谈没有展开这些机构的部署规模、使用频率或收益数据。

讨论从一个产品问题展开：模型已经能够完成一些金融分析工作，为什么还需要专门的金融产品？Kim 的回答涉及数据交付、插件工程和人工复核，也延伸到幻灯片的品味、财务模型的质量，以及评测能否反映真实职业能力。他既介绍了团队实践，也提出了对未来能力的判断；两者的证据基础并不相同。

二、本期主要内容

Kim 首先区分了金融能力与金融产品。他说，金融推理和分析训练进入通用主模型，相关能力并不只供 OpenAI 自有金融产品使用。外部开发者、创业公司，以及希望直接集成模型的金融机构，也可以获得这些能力。团队的开发顺序，是先研究模型能做什么、能力将向何处发展，再设计功能和使用入口，让更多用户能够使用。

他用 OpenAI 内部的采用情况说明入口的重要性。Kim 称，软件工程师持续增加 Codex 使用，而金融、法务和销售岗位的使用曾接近零，随后跃升至约九成。他将这一变化与二月发布桌面应用联系起来。不过，访谈没有说明采用率的统计口径、观察窗口或同期其他变化，也没有独立验证桌面应用与增长之间的因果关系。这个案例提出的产品问题是：模型能够完成任务之后，目标用户是否有合适的方式调用这些能力。

捆绑数据则遇到了更直接的价值质疑。团队希望把财报电话会文字稿等数据放入产品，但客户可能已经购买数据许可证，也已有 MCP 连接器。对这些客户而言，额外付费必须有明确理由。Kim 说，团队测试发现，部分知名供应商的 MCP 连接器错误率超过四成，因此选择控制数据的端到端交付。他还称，数据尤其受到客户认可。

这一决策意味着，团队为数据交付承担了更多工程责任。但“超过四成”是 Kim 报告的特定测试结果，访谈没有披露测试样本、错误定义、供应商名单或对照条件，不能据此判断所有连接器的可靠性。客户认可也是他对反馈的概括，尚不能直接换算为成本节省或投资回报。这些信息说明了团队为何选择捆绑数据，也留下了评估这一选择所需的证据缺口。

产品的大部分工作并不依赖内部模型修改。Kim 表示，团队主要使用 Codex／ChatGPT 的插件架构和基础组件，外部开发者也能使用这些组件。因此，数据、模板与交付方式如何组合，也是其他垂直产品开发者可以研究的工程问题。

三、核心观点：推理、例子与边界

Kim 对垂直产品的判断是：即使通用能力已经覆盖大部分工作，剩下的行业适配仍可能决定产品能否成立。他估计，团队约九成五的产品工作，创业公司或其他公司也能完成；Codex 大约能提供产品所需的八成基础，但直接把它作为金融产品推出，仍会失败。这些比例是他的经验判断，并非统一测量的结果。他要强调的是，基础能力可以覆盖许多环节，少数未解决的行业要求却足以阻碍产品采用。数据、界面和集成都可能成为关键补足。基于这一判断，他预测 ChatGPT 插件之上可能出现十亿美元级业务；访谈没有提供已经兑现的案例。

当前产品的任务选择也遵循这一思路。Kim 说，模型擅长执行具体指令，例如按模板制作幻灯片。Excel 建模、复制标志和精确排版又往往繁琐、细节密集，许多他接触的用户不喜欢做。初级分析师任务因此同时符合两项条件：模型已有相应的执行能力，用户也愿意交出这些工作。但这只能说明某些执行任务适合交给模型，不能据此推断同一岗位的判断、沟通和最终责任也可以一并转移。

Kim 对已发布产品的定位，是有人监督和审核的生产力工具。他用任务可能推进三成或八成来说明，工具能提供多少帮助，取决于具体任务。对于更自主的代理，他提出借鉴员工的读写授权，以及投行现有的逐级复核机制：初级分析师的产物先交给 associate，再由 VP、director 和 managing director 逐级复核。机构可以借助熟悉的授权和检查方式理解代理，但访谈没有展示具体实现，也没有证明既有制度能够原样承受更多自动执行。人工监督是产品的运行前提，其实际效果仍需验证。

质量判断也有不同层次。Kim 将足以改变分析结论的事实错误视为严重问题，并称模型的事实可靠性正在改善。他同时区分了事实正确与专业判断、品味：一张幻灯片可能没有事实错误，却因颜色或排版不当而不适合交付。“正确”因而不足以概括产物质量。他预测，模型会继续改善这类较软的目标。不过，访谈没有提供基准数据，支持他对事实可靠性改善幅度或严重错误传播概率的判断；对审美质量的关注，也不能说明事实风险已经解决。

在训练方法上，Kim 介绍了团队已用于幻灯片的成对比较：让人判断两份候选结果哪份更好，再用这些偏好信号训练奖励模型。他观察到，人类几秒内就能作出的审美判断，模型评分者可能经过很长时间的推理仍然做错。这提供了一种在明确对错之外获取训练信号的方法，但尚不能说明所有专业偏好都容易采集，也不能证明一个评分模型能够适用于不同机构、不同场景的要求。

财务模型中的专业质量，更不只是外观。Kim 以代码作类比：能否编译、函数输出是否正确，可以检查；结构是否清楚、长期是否容易维护，则涉及更复杂的判断。Excel 模型同样如此，求和正确、没有引用错误，只完成了基础检查。有经验的金融人员还会扰动输入、观察输出，判断数据传导是否合理。这里的专业偏好包含对模型结构和行为的理解，不能简单归结为美观与否。

更高级任务面临的难点，是目标和反馈都更难界定。Kim 预测，二〇二七年将向更高级的金融任务推进，同时指出，一个投资想法可能要等三年，才能获得较明确的结果反馈。目标更模糊、反馈更迟，意味着初级执行任务上的训练成果不能直接证明模型具备投资判断能力。他提出，这需要研究、优质数据和专家反馈；这些仍是推进方向，而非已经验证的投资能力。

如何识别进步，最终又回到评测。Kim 强调，评测只是目标能力某个维度的代理。答案键和评分方式难以做对，模型可能通过奖励投机取得高分，却做不好真实工作。他称，团队认为部分金融评测已经饱和，残余失分涉及错误答案键、提示不清等缺陷，并表示已停止跟踪和报告 GDP eval。这些属于团队内部分析，访谈没有提供逐题材料。他也提醒，研究人员可能只在分数不如预期时检查评测：分数上涨时相信模型进步，表现不佳时才追查题目。团队正在开发能预测具体职业工作自动化能力的评测，以投资银行初级分析师工作为例；这种预测能力仍是建设目标，尚未形成已经确立的对应关系。

四、学习与应用

对于垂直产品团队，任务选择需要同时考虑模型能力、用户意愿和验收方式。Kim 对初级分析师工作的解释提供了依据：指令明确、细节繁琐，又是用户愿意交出的工作，适合作为切入点。但繁琐本身不足以决定任务是否适合自动化。按企业模板生成初稿、处理模型细节之后，如果产物难以有效复核，节省的制作时间也可能转化为审核负担。试点需要同时观察初稿是否有用、修正需要多少工作，生成速度只是其中一项。

数据采购同样需要回到实际任务。客户已有许可证和连接器时，可以让现有链路与捆绑方案处理相同问题，区分连接失败、数据缺失和推理错误，再判断额外控制是否值得相应成本。这是对 Kim 数据交付思路的应用，并非复现其内部实验。他报告的四成以上错误率不能成为其他项目的默认参数；每个团队仍需要建立自己的测试口径，客户认可也不能替代采购价值的验证。

质量审核可以区分确定性检查与专家判断。数字、公式、引用和汇总属于前者；幻灯片是否适合交付、财务模型结构是否合理，则需要后者。借鉴 Kim 的做法，审阅模型时可以改变输入、观察输出如何变化，检查数据传导，而不只查看静态表格。需要改善表达质量的产品，可以收集成对产物的偏好，同时记录评审者的选择理由，避免训练信号只奖励表面精致。专家反馈也应尽早参与产品定义和训练。Kim 称，团队招聘金融领域专家，与工程师、研究人员和产品经理共同改进模型与产品，正是为了补足金融质量判断上的知识缺口。

人工复核需要落实到责任和权限：谁检查初稿，谁批准写入，谁允许产物进入下一层交付。代理从读取信息发展到修改系统时，授权和复核安排也需要随之调整。Kim 借鉴员工权限及投行逐级检查的设想，为流程设计提供了参照，但没有证明已有制度可以直接沿用。会改变分析结论的事实错误仍须优先发现，对模型可靠性的信心不能替代本机构的验收证据。

评测建设需要同时检查分数的形成方式与工作的实际完成情况。团队可以选取具体职业产物，核查题目条件是否充分、答案键是否正确、评分是否可能奖励投机，再比较得分与实际审核结果。按照 Kim 对研究偏差的提醒，分数上升和停滞都应接受同样的检查。评测确已饱和时，需要补充更有区分度的任务；模型表现不符预期，本身不足以证明题目有错。

能力路线图也不能直接成为采购承诺。投资观点可能多年后才得到较明确的反馈，模型生成的想法因此仍需作为分析材料接受审查，生成速度无法证明判断质量。Kim 对二〇二七年的预测，以及团队希望将企业产品扩展给 Pro 用户的表述，都是未来方向，访谈没有给出已经交付或开放的结果。采用范围应依据当下可验证的表现逐步扩展；尚待研究和试验的能力，需要保留相应的不确定性。

来源

• 原始节目：Building ChatGPT for Finance — Joseph Kim, OpenAI's Head of Financial Services