有多重要？研究员长文详解前沿模型的后训练秘籍

新智元报道

编辑：乔杨

【新智元导读】

越来越多研究发现，后训练对模型性能同样重要。AllenAI的机器学习研究员NathanLambert最近发表了一篇技术博文，总结了科技巨头们所使用的模型后训练配方。

随着LLM学界和工业界日新月异的发展，不仅预训练所用的算力和数据正在疯狂内卷，后训练（post-training）的对齐和微调方法也在不断更新。

InstructGPT、WebGPT等较早发布的模型使用标准RLHF方法，其中的数据管理风格和规模似乎已经过时。

从这些披露的信息中，我们可以看到后训练方法的一些前沿变化趋势。AllenAI研究科学家NathanLambert最近就这个话题发布了一篇文章。

NathanLambert博士毕业于UC伯克利，曾在HuggingFace领导RLHF团队，目前是AllenAI的机器学习研究员。

他在文章中指出，有多重要？研究员长文详解前沿模型的后训练秘籍合成数据、迭代训练、人类偏好标签和大量过滤，是这些模型所用后训练方法的共同特点。具体来说，新的后训练配方建立在以下预设的基础上：

-合成数据的质量可能高于人类数据，特别是对于具有挑战性的任务

-RLHF可以比指令微调扩展到更大规模

-需要多轮训练和生成才能得到最佳模型

-数据过滤是训练中最重要的部分

这些假设在很大程度上相互交织，构成了可以扩展到大型团队的训练方案，非常适用于科技巨头。文章的具体内容对以上四点分别做出了详细阐释。

新的标准Pipeline

如果我们认为ChatBotArena分数衡量了模型的后训练表现，这就很大程度上与风格和鲁棒性相关，几乎所有的主要实验室都通过迭代训练获得了显著收益。

我们还没有看到Gemini2或GPT-5发布，它们也许会重置目前的后训练范式，并有可能解锁我们对模型更深层次的控制能力。

但从目前来看，各个顶级实验室所用的方法明显趋同，这种趋势比预期中要清晰得多。

人类偏好数据

最初的RLHF管道的重点是人类数据，主要有两种形式：1）用于对专门任务进行指令微调的人类数据；2）有关任务完成度的人类偏好数据。

这类微调数据集成本高昂且被严格保护，据我所知，唯一的公开的应该只有Lambert在HuggingFace团队时发布的NoRobots。

人类偏好数据很大程度上与特定模型的改进有关。但即使在数据可以开放的情况下，也不能确定可以将一个模型的偏好迁移至另一个模型。

Lambert在HuggingFace时曾和团队做过类似的尝试，但在小型付费数据合同上失败了。

现在，唯一用到人类数据的方面就是偏好数据。从Llama2披露的数据和其他传闻来看，Meta可能在偏好数据上花费了10M-20M美元，甚至更多。这还仅限于最终发布的模型，不包括更广泛的实验和评估。

Nemotron则使用大量合成数据来替代人类数据，但相对而言，这个模型的微调并不那么出色。

对开放社区而言，有一个迫在眉睫的挑战，但同时也是机遇：弄清这类数据中的人为干预的程度，能否用LLM-as-a-Judge或奖励模型等方法代替。

扩展RLHF

Llama3的对齐负责人ThomasScialom在播客节目LatentSpace上曾说道：

RLHF的可扩展性要高得多。它成本更低、更容易操作，并且通常会带来更好的性能。

他还表示，自己会将「100%的对齐数据预算用于RL阶段所需的对齐数据，而不是在指令上花费更多时间。」

开源的对齐工作中大多专注于扩展指令微调（IFT，或称为SFT）。IFT容易操作、适用于多种任务，而且方便与合成数据共同使用。

但很明显，产业界仅将IFT作为扩展RLHF的起点。SFT数据主要关注以前模型未能覆盖的特定领域，然后在此基础上扩展RLHF。

RLHF是一个迭代过程，模型的生成过程可以让它继续改进。Llama2和Nemotron论文中详细介绍了5轮训练，但我们不知道这个数字是否有上限。

Llama3.1进行了6轮偏好数据的训练，Llama2是5轮，Nemotron是4轮，之前还有多轮指令微调。

对于人类偏好数据而言，进行多轮迭代可能主要出于可行性方面的考量：

1.数据从注释公司分批传送到实验室

2.进行多轮小规模的训练可以降低最终产品交付的风险。与其等待所有数据到位后才开始训练，不如让模型逐渐步入正轨

这类现实因素看起来无关紧要，但往往会触发某种行业规范。

下面这张图片来自Llama2论文，记录了5轮拒绝采样和PPO相关的数据。

Nemotron还进行了2轮SFT微调和4轮对齐。其中，RPO是用DPO优化器加权的奖励模型。

类似的迭代RLHF方法可以追溯到Anthropic提出的「宪法人工智能」，但开源社区似乎没有大规模复现这个结果。

目前，学术界正在关注「在线DPO训练」，这在方向上是相似的，但对各轮之间数据没有那么关注。这种方法目前仍需要大量手动操作，但一旦实现流程自动化，在线DPO将成为未来。

事实上，各个团队对后训练阶段的算法选择不应该如此一成不变。DPO和PPO各有优劣，前者更容易扩展，但PPO启发的方法（如在线RL）具有更高的性能上限。

目前这些方案主要出于简洁性考量，因为这些团队仍然相对较新并且正在构建模块化系统，Llama3后训练团队中一名成员的说法也证实了这种具备工程简洁性的方法。

Llama3有一个简单的后训练循环：拒绝采样、SFT和DPO。这不仅在经验层面有最佳性能，还实现了可复现性。而且，团队可以异步探索许多不同的工作流（例如编码、数学），将数据汇集到同一个简单的循环中。

合成数据

这种新的RLHF循环中，很重要的一环是在大多数任务上超越人类能力的合成指令数据。

如果可以让模型有一点点提升、生成更好的指令，那就「重新开始」，更新检查点。

Meta在论文中明确表示，他们「使用405B模型来提高我们较小模型的后训练质量」；谷歌通过蒸馏出GeminiFlash来做到这一点，但实际上大多数前沿模型可能都包含一些类似步骤。

我听说OpenAI正在使用50万亿token的数据训练下一代模型，其中大部分为合成数据。去年有一个传言，Anthropic拥有「预训练规模的宪法AI语料库」，现在看来这也很合理。

这些AI公司意识到合成数据的重要性应该是在12～18个月之前，当他们不再使用模型输出进行自我迭代训练的时候。但Meta不一样，因为受益于其他更好的开放模型。

看看当今的后训练就可以清楚知道，合成数据造成模型崩溃的问题被过分夸大了。只有在人为设置的环境中，丢弃原始数据、只留下生成的新数据时，才会发生模型崩溃。

数据质量是王道

Llama3.1报告的大部分内容都是关于数据管理的细节，其中每个相关的子领域都需要广泛而具体的管理说明。

这与我所知的OpenAIJohnSchulman领导的后训练团队以及其他类似团队的工作情况相符——指定一个特定领域，获得相关数据，然后模型就会变得更好。

但如果没有大量的数据过滤和管理，上述的RLHF方法都不起作用。

在AllenAI，我们在后训练流程中开始更加优先考虑数据，可以立即感受到模型提升速度的变化。

案例分析——Nemotron和Llama

Llama的后训练流程如下：

Nemotron的这张图比较简略：

综合起来可以看到大多数方法的共同点。

但下面这张图表，以及大多数行业研究论文都忽视了数据。

Llama3.1等模型到报告中有提及了很多细节，比如正则化、对损失函数的调整、模型平均等等，但这些都是模型性能的边际收益，很大程度上超出了核心微调循环的范围。

到了一定的时间节点，这些细节都会变得微不足道。

参考资料：