从房价预测到推理训练：Jeremy Berman 拆解大语言模型的学习机制

一、嘉宾背景

Jeremy Berman是Anthropic研究员。主持人Matthew Berman在节目中介绍，他是一位自学成才的AI研究者。Jeremy也鼓励学习者沿着感兴趣的问题深入，以具体问题带动对相关机制的理解。

这场约56分钟的访谈以直观、入门的方式，讨论神经网络和语言模型如何构建与训练。Jeremy从输入与输出讲起，逐步解释参数更新、语言预测、预训练、助手后训练与强化学习，最后谈到推理以及模型发现新知识的可能性。

讲解贯穿交互演示、PyTorch代码与开放权重模型。房价演示让参数变化对预测的影响变得可见，代码呈现训练循环，模型续写则展示基础模型与助手模型的行为差别。这些材料将抽象概念连成了可以观察的计算过程。Jeremy明确将代码定位为玩具示例；这场访谈提供的是机制讲解，没有披露Anthropic内部训练流程，也不构成可直接用于生产环境的完整训练教程。

二、本期主要内容

访谈从一个具体问题展开：怎样让计算机自己学出一个函数？Jeremy以纽约公寓为例，将位置、面积和浴室数量作为输入，实际成交价作为标签。房源很少时，或许还能手写定价规则；当主持人把样本扩展到成千上万乃至更多，Jeremy又把输入维度从三个扩展到上千个，规则维护的困难便显现出来。神经网络的做法，是先规定可以调整的计算结构，再通过样本学习其中的参数。

Jeremy把参数比作旋钮：将面积乘以随机初始化的0.25，浴室数量乘以0.05，位置乘以0.15，再相加得到预测价格。这些数值只是演示起点，没有真实市场含义。简单加权让人容易看清单个参数如何影响输出，但他随即指出，位置、面积等因素可能相互作用。多层网络把一组计算的结果送入下一组计算，通过函数嵌套表达更复杂的关系。

训练将手动调节旋钮变成自动更新参数。模型先计算预测与实际标签之间的损失，自动微分再追踪参数参与的计算，求出损失对各参数的导数。反向传播使用链式法则，学习率则控制沿梯度更新的幅度。调整方向来自对计算关系求导，无须随机试遍所有旋钮。Jeremy展示的PyTorch玩具循环依次执行预测、计算损失、清零梯度、反向传播和更新；示例采用均方误差，训练1000步，每100步输出一次。他明确说明，这不是生产训练方案。

语言模型仍然通过训练学习参数，但任务形式变成了序列预测。同一份房产记录可以写成文本：模型看到地点后预测逗号，再依据已有序列预测面积、浴室数量和价格等内容。预测单位是token，不必对应完整单词。模型为候选下一token分配概率，训练则提高已观察到的目标的概率。Jeremy假设“1.2 million”只有10%的概率，以此说明参数更新的方向；10%是教学设定，并非准确率统计。

续写能力也有明确边界。节目演示的约5亿参数基础模型能够生成代码和中文，还生成了关于主持人的疑似虚构引语。Jeremy强调，预训练教会模型续写，并不保证内容真实、有帮助，也不保证逐字复现某个人的真实发言。

要让模型成为助手，还需要统一对话格式、理想回答示例和停止标记。Jeremy用十万个理想助手示例解释监督后训练，这个数字是讲解设定，并非实际训练规模披露。模型学习何时输出停止token，程序识别到它后结束生成。聊天接口中的消息也会转换成模型实际接收的对话格式；他建议用tokenizer查看系统消息、用户消息和助手起始部分。用户界面中看似直接的一问一答，背后仍有具体的输入格式和生成停止机制。

三、核心观点：推理、例子与边界

要理解模型的能力，首先需要分清参数、结构、损失与优化各自的作用：参数是参与计算的具体数值，结构规定这些数值如何连接，损失衡量需要纠正的错误，优化则决定如何更新参数。Jeremy用参数文件和描述连接方式的程序共同解释模型。参数量只说明数值有多少，并没有交代它们如何组成计算图。同样，“权重代表重要性”只适用于简单加权演示。位置与面积等因素可能相互影响，复杂网络中的单个参数不能直接对应某项现实因素的重要程度。

能够表达一种关系，也不等于已经学好了这种关系。Jeremy报告，线性玩具演示的误差大约停在0.07百万美元，并将其归因于函数过于简单；随后，他用激活函数和函数逼近解释更复杂网络的表达能力。这提示人们检查结构是否限制了拟合，却没有证明增加层数和参数就一定能找到好解，更没有证明模型对未见房源也能准确预测。函数逼近的讲解建立了表达能力的直觉，实际优化与泛化能否成功仍是另外的问题。约七万美元的误差也只属于当次演示，不能视为神经网络预测房价的普遍水平。

模型的通用性还要结合资源条件判断。Jeremy认为，如果任务只是输出房价，资源又有限，专用数值网络更合适。语言空间有更多自由度，也包含更复杂的关系，可能需要更多数据、参数与计算。他关于两类模型在理想极限下趋向同一映射的说法带有条件，也承认其中存在细节差异。实际选型仍要看任务需要的是单一数值预测，还是更通用的文本能力，以及后者是否值得额外成本。

基础模型、助手和推理模型之间，还隔着不同的能力要求：续写得像样、行为符合助手规范、答案正确，不能相互替代。演示中的基础模型在“用户—助手”前缀下答出1+1后，仍继续生成不连贯内容，说明前缀可以诱导角色，却未必带来稳定的助手行为。即使后训练教会了对话格式和停止生成，模型在398×923+2901这道题上仍然算错。Jeremy口述结果时使用了约数，不能将其当作精确计算记录。他也明确指出，逐步推理仍可能出错；出现中间步骤，本身并不构成正确性证明。

强化学习由此成为访谈后半段的重点。Jeremy认为，互联网上较多保存着博客和代码等思考结果，较少留下它们形成的完整过程。模仿已有推理，与通过尝试和反馈学习，因而有所区别。他用同一道题回答一百次解释拒绝采样：保留正确回答，再用它们训练模型。这种方法丢弃了失败样本，也会连同正确回答中的无关token一起强化。一百次只是机制示例，并非固定训练配方。

节目对GRPO的解释进一步引入了组内比较：先按格式与正确性为回答评分，再根据组内相对表现形成advantage，提高较好回答中token的概率，降低较差回答的概率。反馈因此既能保留成功尝试，也能利用表现较差的回答。不过，这一讲解没有展开完整损失函数和算法实现，不能据此认为回答级奖励已经精确识别了每个中间步骤的贡献。双方也明确区分了强化学习后训练与一次生成中的思考过程：前者更新参数，后者并不意味着模型正在接受同样的训练。

Jeremy把模型生成自身训练数据称为on-policy。他认为，由于模型已经能够生成这些回答，对其概率的调整通常较温和，但其他能力仍可能退化。助手继续学习原始代码语料后，可能转而模仿代码风格，削弱原有助手行为，也说明一个训练目标的改善可能影响另一种能力。他强调，可重复尝试、能够验证正确性的环境有利于持续改进；已有研究尝试合并预训练与后训练，将强化学习整合进更多训练环节仍在探索之中。主持人回忆o1编码更好、幻觉更少，节目没有提供量化对照。Jeremy借爱因斯坦形成广义相对论的过程，预测长程推理能够逐渐建立抽象、支持新知识发现，同样属于他的判断，尚非节目验证的成果。

四、学习与应用

学习这些机制，可以从范围较小、标签明确的监督任务开始。沿用房价示例，先写清输入是什么、标签从哪里来、输出是数值还是文本，再辨认结构、参数、损失和更新步骤。阅读PyTorch循环时，应理解每一步的作用，而非把1000步训练当作标准设置。误差下降后停住，可以检查结构是否过于简单；当前梯度只描述参数附近的变化，不能直接说明模型已经达到最优，也不能替代对未见样本的检验。

模型选择同样需要先明确任务边界。如果只需预测一个价格，Jeremy关于有限资源下优先考虑专用数值网络的判断，可以成为建立对照方案的理由；如果需要处理开放文本，再评估语言模型的额外自由度是否值得相应成本。这是从访谈推导出的决策方法，节目并未验证某个具体业务方案。比较应基于同一任务和可用资源，理想极限下的趋同不代表现实预算下的等效。

诊断聊天异常时，需要分别检查输入格式和答案质量。模型不停续写，可以先查看tokenizer转换后的消息，确认系统消息、用户内容、助手起始标记和停止机制是否匹配。格式检查有助于定位生成行为的问题，但修复格式并不能保证数学答案正确。Jeremy表示，当次演示使用Google Colab免费T4和可免费下载的开放权重模型，自己没有特殊付费方案。这说明该次演示的尝试门槛较低，却不能据此推断所有训练任务都能免费完成，或任何时候都能获得相同资源。

逐步推理可以作为改变本次生成上下文的方法，最终结果仍需独立核对。Jeremy区分了预填逐步推理开头与提示模型逐步思考，两者也都不同于更新参数的强化学习后训练。对于算术，节目中的口述约数不能直接用作标准答案；对于人物引语，模型熟悉的语气也不能证明内容可靠。Jeremy已经指出，即使模型接触过真实发言，也不保证逐字复现。中间步骤和熟悉口吻都不能替代结果验证或原始出处。

将反馈训练用于具体任务，首先要确定结果如何验证，再判断能否重复生成候选答案。拒绝采样与GRPO的对比提供了几个检查方向：方案是否只保存成功样本，是否利用失败回答，如何考虑格式与正确性，以及整段回答的评分是否会同时强化无关内容。这些问题有助于审查训练设计，但节目中的机制讲解不足以支撑完整算法实现。如果缺乏稳定的正确性判断，也不能直接套用Jeremy关于可验证环境支持持续改进的判断。

针对新任务更新模型时，还应同时检查原有助手行为和其他能力。按Jeremy的解释，on-policy更新通常较温和，但仍可能造成退化；继续训练原始代码语料，也可能让回答风格偏移、削弱助手行为。对于新知识发现，则需要分别记录更长的推理、提出的新想法，以及能够独立确认的新结果。Jeremy关于长程推理逐渐建立抽象的判断可以启发研究方向，但其预测是否兑现，仍需可验证的成果来回答。

来源

• 原始节目：Anthropic Researcher explains how to train LLMs