直接偏好优化：

你的语言模型实际上是一个奖励模型

抽象的

虽然大规模无监督语言模型（LM）学习广泛的世界知识和一些推理技能，但由于其训练的完全无监督性质，实现对其行为的精确控制是困难的。 获得这种可操纵性的现有方法收集模型生成相对质量的人类标签，并微调无监督的 LM 以符合这些偏好，通常通过人类反馈（RLHF）进行强化学习。 然而，RLHF 是一个复杂且通常不稳定的过程，首先拟合反映人类偏好的奖励模型，然后使用强化学习对大型无监督 LM 进行微调，以最大化估计的奖励，而不会偏离原始模型太远。 在本文中，我们利用奖励函数和最优策略之间的映射来表明，这种约束奖励最大化问题可以通过单阶段的策略训练来精确优化，本质上解决了人类偏好的分类问题数据。 由此产生的算法，我们称之为直接偏好优化 (DPO)，稳定、高性能且计算量轻，无需拟合奖励模型、在微调期间从 LM 采样或执行重要的超参数调整。 我们的实验表明，DPO 可以微调 LM 以符合人类偏好，并且比现有方法更好。 值得注意的是，使用 DPO 进行微调超出了 RLHF 控制各代人情绪的能力，并提高了摘要和单轮对话中的响应质量，同时大大简化了实施和训练。

1简介

在非常大的数据集上训练的大型无监督语言模型 (LM) 获得了令人惊讶的能力（Chowdhery 等人，2022；Brown 等人，2020b；Touvron 等人，2023；Bubeck 等人，2023)。 然而，这些模型是根据人类生成的数据进行训练的，这些数据具有各种目标、优先级和技能。 其中一些目标和技能可能不适合模仿；例如，虽然我们可能希望我们的人工智能编码助手理解常见的编程错误以便纠正它们，但是，在生成代码时，我们希望将我们的模型偏向（可能罕见的）高-其训练数据中存在质量编码能力。 同样，我们可能希望我们的语言模型意识到 50% 的人相信的常见误解，但我们当然不希望模型在 50% 的查询中声称这种误解是正确的。它！ 换句话说，从广泛的知识和能力中选择模型的所需响应和行为对于构建安全、高性能和可控的人工智能系统至关重要（欧阳等人，2022)。 虽然现有方法通常使用强化学习 (RL) 来引导 LM 匹配人类偏好，但我们将证明现有方法使用的基于 RL 的目标可以通过简单的二元交叉熵目标进行精确优化，从而大大简化偏好学习流程。

图1： DPO 针对人类偏好进行优化，同时避免强化学习。 现有的利用人类反馈微调语言模型的方法首先将奖励模型拟合到提示数据集和人类对响应对的偏好，然后使用强化学习找到最大化学习奖励的策略。 相比之下，DPO 通过简单的分类目标直接优化最能满足偏好的策略，而不需要明确的奖励函数或 RL。

在较高层面上，现有方法使用精选的人类偏好集将所需的行为灌输到语言模型中，这些偏好集代表了人类认为安全和有帮助的行为类型。 这个偏好学习阶段发生在对大型文本数据集进行大规模无监督预训练的初始阶段之后。 虽然偏好学习最直接的方法是对人类高质量反应的演示进行监督微调，但最成功的一类方法是根据人类（或人工智能）反馈进行强化学习（RLHF/RLAIF；（Christiano 等人， 2017；Bai 等人，2022b))。 RLHF 方法将奖励模型与人类偏好数据集相匹配，然后使用 RL 来优化语言模型策略，以生成分配高奖励的响应，而不会偏离原始模型太远。 虽然 RLHF 生成的模型具有令人印象深刻的会话和编码能力，但 RLHF 管道比监督学习复杂得多，涉及训练多个 LM 并在训练循环中从 LM 策略中采样，从而产生大量计算成本。

在本文中，我们展示了如何直接优化语言模型以遵循人类偏好，而无需明确的奖励建模或强化学习。 我们提出了直接偏好优化（DPO），这是一种隐式优化与现有 RLHF 算法相同目标的算法（具有 KL 散度约束的奖励最大化），但易于实现且易于训练。 直观上，DPO 更新增加了首选响应与不首选响应的相对对数概率，但它包含了一个动态的、每个示例的重要性权重，可以防止我们发现在朴素概率比目标下发生的模型退化。 与现有算法一样，DPO 依赖于理论偏好模型（例如 Bradley-Terry 模型；Bradley 和 Terry (1952))来衡量给定奖励函数的匹配程度与经验偏好数据。 然而，虽然现有方法使用偏好模型来定义偏好损失来训练奖励模型，然后训练优化学习奖励模型的策略，但 DPO 使用变量的变化将偏好损失直接定义为策略的函数。 给定人类对模型响应的偏好数据集，DPO 可以使用简单的二元交叉熵目标来优化策略，而无需在训练期间显式学习奖励函数或从策略中采样。

我们的主要贡献是直接偏好优化（DPO），这是一种简单的无强化学习算法，用于根据偏好训练语言模型。 我们的实验表明，DPO 至少与现有方法（包括基于 PPO 的 RLHF）一样有效，可以使用最多 6B 个参数的语言模型从情绪调节、摘要和对话等任务中的偏好进行学习。

2相关工作

规模不断扩大的自监督语言模型学习零样本（Radford等人，2019)或少量样本提示（Brown等人）完成一些任务，2020a；Narayanan 等人，2021；Chowdhery 等人，2022)。 然而，通过对指令数据集和人工编写的完成数据进行微调，可以显着提高它们在下游任务上的性能以及与用户意图的一致性（Mishra 等人，2022；Sanh 等人， 2022；Chung 等人，2022；Thoppilan 等人，2022)。 这种“指令调整”过程使 LLM 能够推广到指令调整集之外的指令，并普遍提高其可用性（Chung 等人，2022)。 尽管指令调整取得了成功，但人类对响应质量的相对判断通常比专家演示更容易收集，因此后续工作利用人类偏好的数据集对法学硕士进行了微调，提高了翻译熟练程度（Kreutzer 等人，2018)，总结（Stiennon 等人，2022；Ziegler 等人，2020 )、讲故事（Ziegler 等人，2020) 和遵循指令（Ouyang 等人，2022) >; Ramamurthy 等人，20230>)。 这些方法首先优化神经网络奖励函数，以便与偏好模型下的偏好数据集兼容，例如 Bradley-Terry 模型 （Bradley 和 Terry，1952)，然后使用强化学习算法微调语言模型以最大化给定奖励，通常为 REINFORCE （Williams，1992)、近端策略优化（PPO；Schulman 等人） (2017))，或变体（Ramamurthy 等人，2023)。 密切相关的工作线利用法学硕士根据人类反馈进行微调，为指令生成额外的综合偏好数据，例如安全性或无害性（Bai 等人，2022b)，仅以文本标题的形式使用人类的弱监督来进行法学硕士的注释。 这些方法代表了两项工作的融合：一项工作是通过针对各种目标的强化学习来训练语言模型（Ranzato 等人，2015；Paulus 等人，2018；Wu 和 Hu，2018) 以及另一项关于从人类偏好中学习的通用方法的工作（Christiano 等人，2017；Kupcsik 等人，2018)。 尽管使用相对人类偏好很有吸引力，但通过强化学习对大型语言模型进行微调仍然是一个重大的实际挑战。这项工作提供了一种理论上合理的方法，可以在没有强化学习的情况下优化相对偏好。

在语言背景之外，在强盗学习和强化学习环境中都对根据偏好的学习策略进行了研究，并提出了几种方法。 使用偏好或行为排名而不是奖励的情境强盗学习被称为情境决斗强盗（CDB；Yue 等人 (2012)；Dudík 等人 (2015))。 在没有绝对奖励的情况下，CDB 的理论分析用冯·诺依曼赢家替代最优政策的概念，该政策相对于任何其他政策的预期胜率均为至少 50% （Dudík 等人，2015)。 然而，在 CDB 设置中，偏好标签是在线给出的，而在从人类偏好中学习时，我们通常从固定批次的离线偏好注释动作对中学习（Yan 等人，2022 ）。 类似地，基于偏好的 RL (PbRL) 从未知“评分”函数生成的二元偏好中学习，而不是奖励（Busa-Fekete 等人，2014；Saha 等人，2023)。 PbRL 存在各种算法，包括可以重用离策略偏好数据的方法，但通常涉及首先显式估计潜在评分函数（即奖励模型），然后对其进行优化（Jain 等人，2013；Busa-Fekete 等人，2014；Christiano 等人，2017；Sadigh 等人，2017；Kupcsik 等人，2018)。 相反，我们提出了一种单阶段策略学习方法，可以直接优化策略以满足偏好。

3 预赛

我们回顾了 RLHF 管道 齐格勒等人，在后续工作中也被采用（Stiennon等人，2022；Bai等人，2022a；Ouyang等人，2022)。 它通常由三个阶段组成：1）监督微调（SFT）； 2）偏好采样和奖励学习，3）强化学习优化。

SFT 阶段：RLHF 通常从通用的预训练 LM 开始，该 LM 通过监督学习（最大似然）对感兴趣的下游任务的高质量数据集进行微调，例如如对话、指令跟随、摘要等，以获得模型${\pi }^{\text{SFT}}$。

奖励建模阶段：在第二阶段，SFT 模型会收到提示 $x$ 来生成答案对 $(y_1,y_2)\sim {\pi }^{\text{SFT}}(y\mid x)$。 然后将这些结果呈现给表达对一个答案的偏好的人类标记者，表示为 $y_w\succ y_l\mid x$其中 $y_w$ 假设偏好是由某种潜在奖励模型生成的 $r^{*}(y,x)$，我们这样做无权访问。 有多种方法可用于对偏好进行建模，其中 Bradley-Terry (BT) Bradley and Terry (1952) 模型是一种流行的选择（尽管更通用的 Plackett-Luce 模型排名模型（Plackett，1975；Luce，2012)也与框架兼容（如果我们可以访问多个排名答案）。 BT模型规定人类偏好分布$p^{*}$可以写为：

(1)

假设访问静态比较数据集 $?={\{x^{(i)},y_w^{(i)},y_l^{(i)}\}}_{i=1}^N$从$p^{*}$ 将问题构建为二元分类，我们得到负对数似然损失：

(2)

其中 $\sigma$ 是逻辑函数。 在 LM 的背景下，网络 $r_{\varphi }(x,y)$通常从SFT模型初始化${\pi }^{\text{SFT}}(y\mid x)$ 为了确保奖励函数具有较低的方差，先前的工作对奖励进行标准化，使得 ${?}_{x,y\sim ?}\left[r_{\varphi }(x,y)\right]=0$ 对于所有 $x$

强化学习微调阶段：在强化学习阶段，我们使用学习到的奖励函数向语言模型提供反馈。 特别地，我们制定了以下优化问题

$$\underset{{\pi }_{\theta }}{\max }{?}_{x\sim ?,y\sim {\pi }_{\theta }(y\mid x)}\left[r_{\varphi }(x,y)\right]-\beta {?}_{\text{KL}}[{\pi }_{\theta }(y\mid x)\mid \mid {\pi }_{\text{ref}}(y\mid x)]$$ (3)

其中$\beta$是控制与基础参考策略${\pi }_{\text{ref}}$偏差的参数，即初始SFT模型${\pi }^{\text{SFT}}$。 在实践中，语言模型策略 ${\pi }_{\theta }$ 也被初始化为 ${\pi }^{\text{SFT}}$。 增加的约束很重要，因为它可以防止模型偏离奖励模型准确的分布太远，并保持生成多样性并防止模式崩溃为单一高奖励答案。 由于语言生成的离散性，该目标是不可微分的，通常通过强化学习进行优化。 The standard approach (Ziegler et al., 2020; Stiennon et al., 2022; Bai et al., 2022a; Ouyang et al., 2022) has been to construct the reward function $r(x,y)=r_{\varphi }(x,y)-\beta (\log {\pi }_{\theta }(y\mid x)-\log {\pi }_{\text{ref}}(y\mid x))$, and maximize using PPO Schulman et al. (2017).

4直接偏好优化

受到将强化学习算法应用于微调语言模型等大规模问题的挑战的激励，我们的目标是导出一种直接使用偏好进行策略优化的简单方法。 与之前的 RLHF 方法（学习奖励然后通过 RL 对其进行优化）不同，我们的方法绕过奖励建模步骤，直接使用偏好数据优化语言模型。 正如我们接下来将详细描述的，我们的关键见解是利用从奖励函数到最优策略的分析映射，这使我们能够将奖励函数的损失函数转换为策略的损失函数。 这种变量变化方法使我们能够跳过显式奖励建模步骤，同时仍然在现有的人类偏好模型（例如 Bradley-Terry 模型）下进行优化。 本质上，策略网络既代表了语言模型，也代表了奖励。

得出 DPO 目标。 我们从与之前的工作相同的 RL 目标开始，方程式： 3，在一般奖励函数$r$下。根据之前的工作（Peters 和 Schaal，2007；Peng 等人，2019)，可以直接证明 KL 的最优解-方程式中的约束奖励最大化目标。 3 采用以下形式：

$${\pi }_r(y\mid x)=\frac{1}{Z(x)}{\pi }_{\text{ref}}(y\mid x)\exp \left(\frac{1}{\beta }r(x,y)\right),$$ (4)

其中 $Z(x)={\sum }_y{\pi }_{\text{ref}}(y\mid x)\exp \left(\frac{1}{\beta }r(x,y)\right)$是配分函数。 完整推导请参见附录A.1。 即使我们使用地面实况奖励函数 $r^{*}$，估计配分函数$Z(x)$ 然而，我们可以重新排列方程。 4用其对应的最优策略${\pi }_r$来表达奖励函数，参考策略${\pi }_{\text{ref}}$，以及未知配分函数$Z(\cdot )$ 具体来说，我们首先对等式两边取对数： 4 然后通过一些代数我们得到：

$$r(x,y)=\beta \log \frac{{\pi }_r(y\mid x)}{{\pi }_{\text{ref}}(y\mid x)}+\beta \log Z(x).$$ (5)

我们可以将此重新参数化应用于真实奖励 $r^{*}$ 和相应的最优模型 ${\pi }^{*}$。 幸运的是，Bradley-Terry 模型仅取决于两次完成之间奖励的差异，即 $p^{*}(y_1\succ y_2\mid x)=\sigma (r^{*}(x,y_1)-r^{*}(x,y_2))$。 代入等式中的重新参数化。 5 为 $r^{*}(x,y)$ 代入偏好模型1 因此，Bradley-Terry模型下的最优RLHF策略${\pi }^{*}$满足偏好模型：

$$p^{*}(y_1\succ y_2\mid x)=\frac{1}{1+\exp \left(\beta \log \frac{{\pi }^{*}(y_2\mid x)}{{\pi }_{\text{ref}}(y_2\mid x)}-\beta \log \frac{{\pi }^{*}(y_1\mid x)}{{\pi }_{\text{ref}}(y_1\mid x)}\right)}$$ (6)

推导见附录A.2。 而方程。 6 使用 Bradley-Terry 模型，我们可以类似地在更通用的 Plackett-Luce 模型下推导表达式 (Plackett, 1975; Luce, 2012)，见附录A.3。

现在我们有了最优策略而不是奖励模型方面的人类偏好数据的概率，我们可以为参数化策略制定最大似然目标 ${\pi }_{\theta }$。 类似于奖励建模方法（即等式2)，我们的政策目标变为：

$${ℒ}_{\text{DPO}}({\pi }_{\theta };{\pi }_{\text{ref}})=-{?}_{(x,y_w,y_l)\sim ?}\left[\log \sigma \left(\beta \log \frac{{\pi }_{\theta }(y_w\mid x)}{{\pi }_{\text{ref}}(y_w\mid x)}-\beta \log \frac{{\pi }_{\theta }(y_l\mid x)}{{\pi }_{\text{ref}}(y_l\mid x)}\right)\right].$$ (7)

这样，我们同时绕过了显式奖励建模步骤，同时也避免了执行强化学习优化的需要。 此外，由于我们的过程相当于拟合重新参数化的 Bradley-Terry 模型，因此它具有某些理论特性，例如在偏好数据分布的适当假设下的一致性Bong 和 Rinaldo (2022). 在第 5 节中，我们进一步讨论了 DPO 相对于其他工作的理论特性。

DPO 更新有什么作用？ 为了从原理上理解 DPO，分析损失函数 ${ℒ}_{\text{DPO}}$ 的梯度很有用。 相对于参数$\theta$的梯度可以写为：

$$\begin{array}{c}\hfill \end{array}$$∇θℒDPO(0>π2>θ3>1> ;4>π6>参考7>5>)8>=9>−β?(x,yw,yl)∼?[σ(r^θ(x,yl)−r^θ(x,yw))⏟higher weight when reward estimate is wrong[∇θlog⁡π(yw∣x)⏟increase likelihood of yw−∇θlog⁡π(yl∣x)⏟decrease likelihood of yl]],\nabla_{\theta}\mathcal{L}_{\text{DPO}}(\pi_{\theta};\pi_{\text{ref}})=\\ -\beta\mathbb{E}_{(x,y_{w},y_{l})\sim\mathcal{D}}\bigg{[}\underbrace{\sigma(\hat{r}_{\theta}(x,y_{l})-\hat{r}_{\theta}(x,y_{w}))}_{\text{higher weight when reward estimate is wrong}}\bigg{[}\underbrace{\nabla_{\theta}\log\pi(y_{w}\mid x)}_{\text{increase likelihood of $y_{w}$}}-\underbrace{\nabla_{\theta}\log\pi(y_{l}\mid x)}_{\text{decrease likelihood of $y_{l}$}}\bigg{]}\bigg{]},

其中${\widehat{r}}_{\theta }(x,y)=\beta \log \frac{{\pi }_{\theta }(y\mid x)}{{\pi }_{\text{ref}}(y\mid x)}$是由语言模型 ${\pi }_{\theta }$ 直观上，损失函数${ℒ}_{\text{DPO}}$的梯度增加了首选完成$y_w$ 并降低了不优选完成 $y_l$ 重要的是，这些例子是通过隐式奖励模型 ${\widehat{r}}_{\theta }$r^θr^θ 对不受欢迎的完成进行评级，按 $\beta$ 缩放，即隐式奖励模型对完成排序的错误程度，考虑到 KL 约束的强度。 我们的实验表明了这种加权的重要性，因为没有加权系数的这种方法的简单版本可能会导致语言模型退化（附录表2)。

DPO 概要。 一般的 DPO 管道如下： 1) 示例完成 $y_1,y_2\sim {\pi }_{\text{ref}}(\cdot \mid x)$ 对于每个提示$x$ 在实践中，人们希望重用公开可用的偏好数据集，而不是生成样本并收集人类偏好。 由于偏好数据集是使用 ${\pi }^{\text{SFT}}$ 进行采样的，因此我们初始化 ${\pi }_{\text{ref}}={\pi }^{\text{SFT}}$（只要有）。 然而，当${\pi }^{\text{SFT}}$不可用时，我们初始化${\pi }_{\text{ref}}$ 通过最大化首选完成的可能性 $(x,y_w)$ 此过程有助于减轻不可用的真实参考分布与 DPO 使用的 ${\pi }_{\text{ref}}$ 之间的分布偏移。 有关实现和超参数的更多详细信息可以在附录B中找到。

5DPO的理论分析

在本节中，我们对 DPO 方法进行进一步解释，提供理论支持，并将 DPO 的优点与用于 RLHF 的行动者批评算法的问题联系起来（例如 PPO Schulman 等人 (2017 ）)。

5.1 你的语言模型实际上是一个奖励模型

DPO 能够绕过显式奖励估计和 RL，使用单个最大似然目标来学习策略。 然而，优化目标方程。 5 相当于带有奖励函数的 Bradley-Terry 模型 $r^{*}(x,y)=\beta \log \frac{{\pi }_{\theta }^{*}(y\mid x)}{{\pi }_{\text{ref}}(y\mid x)}$1>⁡2>π6>θ7>*8>5>9>(1>y3>∣4>x5>2>)6>0> 4>π9>参考0>8>1>(3>y5>∣6>x7>4>)8>2>7>3>0>7>，我们优化参数模型${\pi }_{\theta }$ 在本节中，我们将构建这种重新参数化背后的理论，表明它不会限制学习奖励模型的类别，并且允许精确恢复最优策略。 我们首先定义奖励函数之间的等价关系。

Definition 1。

我们说两个奖励函数 $r\mathit{}\mathrm{(}x\mathrm{,}y\mathrm{)}$ 和 $r^{\mathrm{\prime }}\mathit{}\mathrm{(}x\mathrm{,}y\mathrm{)}$

很容易看出，这确实是一个等价关系，它将奖励函数集划分为类别。 我们可以陈述以下两个引理：

Lemma 1.

在 Plackett-Luce，特别是 Bradley-Terry 偏好框架下，来自同一类别的两个奖励函数会产生相同的偏好分布。

Lemma 2.

来自同一等价类的两个奖励函数在约束强化学习问题下会产生相同的最优策略。

证明很简单，我们将它们放在附录A.5中。 第一个引理是 Plackett-Luce 系列模型 Plackett (1975) 中众所周知的规格不足问题。 由于这种规格不足，我们通常必须施加额外的可识别性约束，以实现对等式 1 的 MLE 估计的任何保证。 2 奉俊昊和里纳尔多 (2022)。 第二个引理指出，同一类别的所有奖励函数都会产生相同的最优策略，因此对于我们的最终目标，我们只对从最优类别恢复任意奖励函数感兴趣。 我们在附录A.6中证明了以下定理：

Theorem 1。

在温和的假设下，所有与 Plackett-Luce（特别是 Bradley-Terry）模型一致的奖励类别都可以用重新参数化 $r\mathit{}\mathrm{(}x\mathrm{,}y\mathrm{)}\mathrm{=}\beta \mathit{}\log \mathit{}\frac{\pi \mathit{}\mathrm{(}y\mathrm{\mid }x\mathrm{)}}{{\pi }_{\text{???}}\mathit{}\mathrm{(}y\mathrm{\mid }x\mathrm{)}}$对于某些模型$\pi \mathit{}\mathrm{(}y\mathrm{\mid }x\mathrm{)}$

证明草图。

考虑任何奖励函数 $r(x,y)$，从而导出相应的最优模型${\pi }_r(y\mid x)$ 我们将证明来自 $r$ 等价类的奖励函数可以使用上面给出的重新参数化来表示。 我们将投影 $f$ 定义为

(8)

运算符$f$只是用${\pi }_r$的配分函数的对数对奖励函数进行归一化。 由于添加的归一化项只是前缀 $x$ 的函数，因此 $f(r;{\pi }_{\text{ref}},\beta )(x,y)$ 是 $r(x,y)$ 最后，将 $r$ 替换为等式的 RHS。 5（适用于任何奖励函数），我们有 $f(r;{\pi }_{\text{ref}},\beta )(x,y)=\beta \log \frac{{\pi }_r(y\mid x)}{{\pi }_{\text{ref}}(y\mid x)}$0>参考1>9>2>(4>y6>∣7>x8>5>)9>3>8>5>2>9>。 也就是说，投影 $f$ 生成具有所需形式的 $r$ 等价类的成员，并且我们不会因建议的重新参数化而失去奖励模型的任何通用性。 ∎

我们也可以将定理 1 视为精确指定 DPO 重新参数化选择的每个等价类中的奖励函数，即满足以下条件的奖励函数：

=π(y∣x)，使用 Thm。 1 重新参数。=1, (9)

即 $\pi (y\mid x)$ 是一个有效的分布（概率为正且总和为 1）。 然而，以下等式： 4，我们可以看到等式： 9 是奖励函数 $r(x,y)$。 DPO 算法的关键见解是，我们可以对受约束的 Plackett-Luce（特别是 Bradley-Terry）偏好模型系列施加某些约束，这样我们就保留了可表示奖励模型的类别，但明确地使方程中的最优策略。 4 对于所有提示 $x$ 都可以进行分析处理。

5.2 Actor-Critic算法的不稳定性

我们还可以使用我们的框架通过用于 RLHF 的标准参与者批评算法（例如 PPO）来诊断不稳定性。 我们遵循 RLHF 流程，重点关注 3 节中概述的 RL 微调步骤。 我们可以将控制连接作为推理框架 Levine (2018)，以解决 3 中概述的约束 RL 问题。 我们假设参数化模型 ${\pi }_{\theta }(y\mid x)$ 并最小化 ${?}_{\text{KL}}[{\pi }_{\theta }(y|x)\mid \mid {\pi }^{*}(y\mid x)]$ 通过一些代数，这可以得出优化目标：

(10)

这与之前的工作中优化的目标相同（Ziegler 等人，2020；Stiennon 等人，2022；Bai 等人，2022a; Ouyang et al, 2022) 对 $r_{\varphi }$. 在此设置中，我们可以解释 $f(r_{\varphi },{\pi }_{\text{ref}},\beta )$作为参考策略的软值函数${\pi }_{\text{ref}}$ 虽然此项不会影响最优解，但如果没有它，目标的策略梯度可能会具有较高的方差，从而导致学习不稳定。 我们可以使用学习值函数来适应归一化项，但这也可能难以优化。 或者，之前的工作使用人类完成基线（本质上是标准化项的单个样本蒙特卡罗估计）对奖励进行标准化。 相比之下，DPO 重新参数化产生不需要任何基线的奖励函数。

6实验

在本节中，我们将根据经验评估 DPO 直接根据偏好训练政策的能力。 首先，在控制良好的文本生成环境中，我们问：与常见的偏好学习算法（例如 PPO）相比，DPO 在最大化奖励和最小化 KL 散度与参考策略之间进行权衡的效率如何？ 接下来，我们评估 DPO 在更大模型和更困难的 RLHF 任务（包括摘要和对话）上的表现。 我们发现，在几乎不调整超参数的情况下，DPO 往往表现得与 RLHF 和 PPO 等强基线一样好甚至更好，并且在学习奖励函数下返回 $N$ 个采样轨迹中的最佳轨迹。 在展示这些结果之前，我们描述实验设置；其他详细信息请参见附录C。

任务。 我们的实验探索了三种不同的开放式文本生成任务。 对于所有实验，算法都会从偏好数据集中学习策略$?={\{x^{(i)},y_w^{(i)},y_l^{(i)}\}}_{i=1}^N$。 在受控情绪生成中，$x$是来自IMDb数据集Maas等人(2011)的电影评论的前缀，并且该政策必须产生具有积极情绪的$y$。 为了执行受控评估，在本实验中，我们使用预先训练的情感分类器生成几代人的偏好对，其中$p(\text{positive}\mid x,y_w)>p(\text{positive}\mid x,y_l)$0>∣1>x3>,4>y6>w7>5>2>)8> >9>p1>2>(4>正6>∣7>x9>,0>y2>l3>1>8>5>)4>3>0>。 对于 SFT，我们对 GPT-2-large 进行微调，直到 IMDB 数据集的训练分割中的评论收敛。 在总结中，$x$是来自Reddit的论坛帖子；该政策必须生成帖子中要点的摘要 $y$。 继之前的工作之后，我们使用 Reddit TL;DR 摘要数据集（Völske 等人，2017) 以及由 斯蒂农等人. 我们使用根据人工编写的论坛帖子摘要进行微调的 SFT 模型 与 RLHF 的 TRLX （von Werra 等人，2023) 框架。 人类偏好数据集是由 斯蒂农等人 来自不同但经过类似训练的 SFT 模型的样本。 最后，在单轮对话中，$x$是人类查询，可以是从有关天体物理学的问题到关系建议请求的任何内容。 政策必须对用户的查询产生有吸引力且有帮助的响应$y$；我们使用 Anthropic Helpful and Harmless 对话数据集（Bai 等人，2022a)，其中包含人类和自动助理之间的 170k 对话。 每个转录本以一对由大型（尽管未知）语言模型生成的响应以及表示人类首选响应的偏好标签结尾。 在这种情况下，没有预训练的 SFT 模型可用；因此，我们仅在首选补全上对现成的语言模型进行微调，以形成 SFT 模型。

图2： 左边。 预期奖励与参考策略 KL 的边界。 DPO 为所有 KL 值提供最高的预期奖励，证明了优化的质量。 正确的。 TL;DR 摘要胜率与人工编写的摘要的比较，使用 GPT-4 作为评估器。 DPO 在汇总方面超过了 PPO 的最佳情况性能，同时对采样温度的变化更加稳健。

评估。 我们的实验使用两种不同的评估方法。 为了分析每种算法在优化约束奖励最大化目标方面的有效性，在受控情绪生成设置中，我们通过其实现奖励的前沿和与参考策略的 KL 散度来评估每种算法；这个边界是可计算的，因为我们可以访问真实奖励函数（情感分类器）。 然而，在现实世界中，真实奖励函数是未知的；因此，我们根据基准策略来评估算法的胜率，并使用 GPT-4 作为人工评估摘要质量和摘要和单轮对话设置中响应有用性的代理。 为了进行总结，我们使用测试集中的参考摘要作为基线；对于对话，我们使用测试数据集中的首选响应作为基线。 虽然现有研究表明 LM 可以成为比现有指标更好的自动化评估器（Chen 等人，2023)，但我们进行了一项人体研究来证明我们使用 GPT-4 进行评估的合理性在秒。 6.3。 我们发现 GPT-4 判断与人类密切相关，人类与 GPT-4 的一致性通常类似于或高于人类注释者之间的一致性。

方法。 除了 DPO 之外，我们还评估了几种现有的训练语言模型的方法，以符合人类的偏好。 最简单的是，我们在摘要任务中探索使用 GPT-J （Wang 和 Komatsuzaki，2021) 的零样本提示和 2 样本提示在对话任务中使用 Pythia-2.8B （Biderman 等人，2023)。 此外，我们评估了 SFT 模型以及 Preferred-FT，这是一个通过监督学习对所选完成 $y_w$ 来自 SFT 模型（在受控情绪和摘要中）或通用 LM（在单轮对话中）。 另一种伪监督方法是Unlikelihood，它简单地优化策略以最大化分配给$y_w$的概率，并且最小化分配给$y_l$的概率；我们使用可选系数$\alpha \in [0,1]$ 我们还考虑使用从偏好数据和 PPO-GT 中学习的奖励函数来PPO （Schulman et al, 2017) t3>，这是一个从受控情绪设置中可用的真实奖励函数中学习的预言机。 在我们的情感实验中，我们使用 PPO-GT 的两种实现，一种是现成版本 von Werra 等人 (2023) 以及标准化的修改版本奖励并进一步调整超参数以提高性能（在使用学习奖励运行“正常”PPO 时，我们也会使用这些修改）。 最后，我们考虑 Best of $N$ 基线，从 SFT 模型（或对话中的 Preferred-FT）中采样 $N$ 个响应并返回最高的-根据从偏好数据集中学习到的奖励函数对响应进行评分。 这种高性能方法将奖励模型的质量与 PPO 优化解耦，但即使对于中等的 $N$ 在计算上也是不切实际的，因为它需要在测试时对每个查询进行采样 $N$ 完成时间。

6.1 DPO 能够如何优化 RLHF 目标？

图3： 左边。 由 GPT-4 计算的 Anthropic-HH 一步对话的获胜率； DPO 是唯一比 Anthropic-HH 测试集中所选摘要有所改进的方法。 正确的。 训练过程中不同采样温度的胜率。 在不同采样温度的训练过程中，DPO 对数据集标签的改进相当稳定。

典型 RLHF 算法中使用的 KL 约束奖励最大化目标可以平衡奖励的利用，同时限制策略偏离参考策略太远。 因此，在比较算法时，我们必须同时考虑获得的奖励和KL差异；获得稍高的奖励但获得更高的 KL 并不一定是可取的。 图2显示了情感设置中各种算法的奖励KL边界。 我们为每个算法执行多次训练运行，在每次运行中使用不同的超参数来实现策略保守性（目标 KL $\in \{3,6,9,12\}$ 对于 PPO，$\beta \in \{0.05,0.1,1,5\}$ 本次扫荡共包括22次运行。 每 100 个训练步骤直到收敛，我们在一组测试提示上评估每个策略，计算真实奖励函数下的平均奖励以及平均序列级别 KL 参考策略 $\text{KL}(\pi \mid \mid {\pi }_{\text{ref}})$。 我们发现 DPO 产生了迄今为止最有效的前沿，实现了最高的奖励，同时仍然实现了较低的 KL。 由于多种原因，这一结果尤其引人注目。 首先，DPO和PPO优化相同的目标，但DPO的效率明显更高； DPO 的奖励/KL 权衡严格支配 PPO。 其次，DPO 实现了比 PPO 更好的前沿，即使 PPO 可以获得真实奖励 (PPO-GT)。

6.2 DPO 能否扩展到真实偏好数据集？

接下来，我们评估 DPO 在摘要和单轮对话方面的微调性能。 综上所述，ROUGE 等自动评估指标与人类偏好的相关性较差（Stiennon 等人，2022)，之前的工作发现使用 PPO 微调 LM对人类偏好提供更有效的总结。 我们通过对 TL;DR 总结数据集的测试分割进行采样完成情况来评估不同的方法，并根据测试集中的参考完成情况计算平均获胜率。 所有方法的完成情况都是在 0.0 到 1.0 的温度范围内进行采样的，获胜率如图 2（右）所示。 DPO、PPO 和 Preferred-FT 均微调相同的 GPT-J SFT 模型。 我们发现，DPO 在 0.0 温度下的胜率约为 61%，超过了 PPO 在最佳采样温度 0.0 下 57% 的性能。 与$N$基线中的最佳者相比，DPO 还实现了更高的最大胜率。 我们注意到，我们没有有意义地调整 DPO 的 $\beta$ 超参数，因此这些结果可能低估了 DPO 的潜力。 此外，我们发现 DPO 对采样温度的鲁棒性比 PPO 强得多，而 PPO 的性能在高温下可能会下降到基本 GPT-J 模型的性能。 Preferred-FT 与 SFT 模型相比并没有显着改进。 我们还在6.3节中对 DPO 和 PPO 在人体评估中进行了正面对比，其中温度 0.25 时的 DPO 样本比温度 0 时的 PPO 样本的偏好度高 58%。

在单轮对话中，我们在 Anthropic HH 数据集 （Bai 等人，2022a) 的测试分割子集上评估不同的方法，其中一步为人类助理互动。 GPT-4 评估使用测试中的首选完成情况作为参考来计算不同方法的获胜率。 由于此任务没有标准的 SFT 模型，因此我们从预训练的 Pythia-2.8B 开始，使用 Preferred-FT 在所选完成上训练参考模型，以使完成在模型的分布范围内，然后使用数据保护专员。 我们还与 128 次 Preferred-FT 完成中的最佳结果进行比较（我们在该任务的 128 次完成中找到了 $N$ 个基线中的最佳结果；参见附录图 4)和 2 -shot 提示了 Pythia-2.8B 基本模型的版本，发现 DPO 对于每种方法的最佳性能温度表现相同或更好。 我们还评估了在 Anthropic HH 数据集上使用 PPO 训练的 RLHF 模型 来自知名来源 ，但找不到提示或采样温度，其性能优于基本 Pythia-2.8B 模型。 根据 TL;DR 的结果以及两种方法优化相同奖励函数的事实，我们认为 Best of 128 是 PPO 级别性能的粗略代理。 总体而言，DPO 是唯一一种计算高效的方法，它比 Anthropic HH 数据集中的首选完成方法有所改进，并提供与计算要求较高的 Best of 128 基线类似或更好的性能。 最后，图3显示DPO相对较快地收敛到其最佳性能。

6.3 用人类判断验证 GPT-4 判断

	DPO	SFT	PPO-1
N respondents	272	122	199
GPT-4 (S) win %	47	27	13
GPT-4 (C) win %	54	32	12
Human win %	58	43	17
GPT-4 (S)-H agree	70	77	86
GPT-4 (C)-H agree	67	79	85
H-H agree	65	-	87

表格1： 比较人类和 GPT-4 的胜率以及 TL;DR 总结样本的每次判断一致性。 人类对 GPT-4 的认同程度与他们对彼此的认同程度一样。 每个实验都会将所述方法的摘要与温度为 0 的 PPO 的摘要进行比较。

我们利用 TL;DR 总结实验的结果和两种不同的 GPT-4 提示，进行了人体研究来验证 GPT-4 判断的可靠性。 GPT-4 (S)（简单）提示只是询问哪个摘要更好 - 总结了帖子中的重要信息。 GPT-4 (C)（简洁）提示还询问哪个摘要更简洁；我们评估这个提示是因为我们发现 GPT-4 比人类使用 GPT-4 (S) 提示更喜欢更长、更多重复的摘要。 完整提示请参见附录C.1。 我们执行三个比较，使用最高的（DPO、温度）。 0.25），最低（PPO，温度。 1.0）和中等性能（SFT，温度。 0.25) 旨在覆盖多种样品质量的方法；所有三种方法都与贪婪采样的 PPO（其最佳性能温度）进行比较。 我们发现，在这两种提示下，GPT-4 倾向于与人类达成一致的频率与人类彼此达成一致的频率相同，这表明 GPT-4 是人类评估的合理代理（由于人类评估者有限，我们只收集了多个人类判断）用于 DPO 和 PPO-1 比较）。 总体而言，GPT-4 (C) 提示通常提供更能代表人类的胜率；因此，我们使用此提示来获取第 6.2 节中的主要结果。 有关人体研究的更多详细信息，包括向评估者提供的网络界面和人类志愿者列表，请参阅附录 D.3。

7讨论

从偏好中学习是一个强大的、可扩展的框架，用于训练有能力的、一致的语言模型。 我们引入了 DPO，这是一种简单的训练范例，用于根据偏好训练语言模型，无需强化学习。 DPO 不是为了使用现成的 RL 算法而将偏好学习问题强制纳入标准 RL 设置中，而是确定语言模型策略和奖励函数之间的映射，从而能够训练语言模型来直接满足人类偏好，具有简单的交叉熵损失，没有强化学习或失去通用性。 由于几乎无需调整超参数，DPO 的性能与现有 RLHF 算法（包括基于 PPO 的算法）类似或更好；因此，DPO 有意义地减少了根据人类偏好训练更多语言模型的障碍。

局限性和未来的工作。 我们的结果提出了几个超出本研究范围的问题：与显式奖励函数相比，DPO 策略如何推广分布？ 例如，标准 RLHF 方法可以通过使用学习的奖励模型标记 LM 代来利用额外的未标记提示。 DPO 政策中的自我标记培训能否同样有效地利用未标记的提示？ 另一方面，奖励过度优化如何在直接偏好优化设置中体现出来，图3右中性能的轻微下降是否就是一个例子？ 此外，虽然我们评估高达 6B 个参数的模型，但探索将 DPO 扩展到更大数量级的最先进模型是未来工作的一个令人兴奋的方向。 在评估方面，我们发现GPT-4计算的胜率受到提示的影响；未来的工作可能会研究从自动化系统中得出高质量判断的最佳方法。 最后，DPO 的许多可能应用超出了根据人类偏好训练语言模型的范围，包括以其他方式训练生成模型。

致谢

EM 衷心感谢 Knight-Hennessy 研究生奖学金的资助。 CF 和 CM 是 CIFAR 院士。 这项工作得到了斯坦福学习加速器 (SAL) 和斯坦福以人为中心的人工智能研究所 (HAI) 面向未来学习的生成式人工智能种子资助计划的部分支持。 斯坦福大学基础模型研究中心 (CRFM) 提供了本工作中实验所用的部分计算资源。 这项工作得到了 ONR 拨款 N00014-20-1-2675 的部分支持。

作者贡献

所有作者都为设计、分析和迭代实验、撰写和编辑论文以及总体管理项目进度做出了宝贵的贡献。

RR在与EM的讨论中提出使用自回归奖励模型；导出 DPO 目标；证明了该算法的理论性质并编写了相关章节和附录。 他还建议并帮助组织实验，并贡献了一些 PPO 和奖励学习基线。

AS发起了使用加权回归方法替代PPO的讨论；启动项目相关组织，编写将 DPO 与加权回归和可能性联系起来的初步分析； DPO+基线实现的设计和迭代，DPO的初步探索性实验；实质性实验组织和设计（数据集、基线、评估）；主导模型训练和评估，以控制情绪生成和总结； GPT-4 评估的设计迭代（特别是总结）；对摘要、前言/方法和实验有大量的写作贡献；编辑对其他部分的贡献。

EM 为有关学习自回归奖励函数的早期讨论提供了意见；编写了 DPO 的第一个实现并运行了第一个 DPO 实验；训练论文实验中使用的大规模（摘要和对话）DPO 模型；进行了初步的 GPT-4 胜率评估并建立了相关基础设施；招募参与者、进行人体研究并分析结果；撰写摘要、引言、相关工作、讨论和大部分实验；并协助编辑论文的其余部分。

CF、CM 和 SE 监督研究，提出想法和实验，并协助撰写论文。

附录A数学推导

A.1 推导 KL 约束奖励最大化目标的最优值

在本附录中，我们将推导出方程。 4。 类似于等式。 3，我们优化以下目标：

(11)

在任何奖励函数下 $r(x,y)$，参考模型${\pi }_{\text{ref}}$ 我们现在有：

(12)

我们有配分函数：

请注意，配分函数仅是 $x$ 和参考策略 ${\pi }_{\text{ref}}$ 的函数，但不依赖于关于政策$\pi$。 我们现在可以定义

这是一个有效的概率分布 ${\pi }^{*}(y|x)\ge 0$ 对于所有 $y$ 自 $Z(x)$ 不是 $y$ 的函数，我们可以将方程 A.1

$$分钟π⁡?x∼0>?1>2> [4>?8>y0>∼1>π3>4>(6>y8>|9>x0>7>)1>5>2>9>7>2>[4>日志6>⁡7>π(y|x)π*(y|x)=5> (13)

(14)

现在，从 $Z(x)$不依赖于$\pi$，最小值是通过最小化第一个KL项的策略实现的。 吉布斯不等式告诉我们，当且仅当两个分布相同时，KL 散度最小化为 0。 于是我们就有了最优解：

(15)

对于所有$x\in ?$。 这样就完成了推导。

A.2 在 Bradley-Terry 模型下推导 DPO 目标

在 Bradley-Terry 偏好模型下导出 DPO 目标很简单，因为我们有

(16)

在第4节中，我们展示了我们可以通过其相应的最优策略来表达（不可用的）真实奖励：

(17)

代入方程式17 代入等式。 16 我们得到：

最后一行是公式 7 中的每个实例的损失。

A.3在 Plackett-Luce 模型下推导 DPO 目标

Plackett-Luce 模型 [Plackett，1975，Luce，2012] 是 Bradley-Terry 模型对排名的概括（而不仅仅是排名）成对比较）。 与 Bradley-Terry 模型类似，它规定，当出现一组可能的选择时，人们更喜欢概率与该选择的某些潜在奖励函数的值成比例的选择。 在我们的上下文中，当出现提示 $x$ 和一组 $K$ 个答案 $y_1,\mathrm{\dots },y_K$ 用户将输出排列$\tau :[K]\to [K]$ Plackett-Luce 模型规定

(18)

请注意，当 $K=2$ 时，方程 18 简化为 Bradley-Terry模型。 然而，对于一般的 Plackett-Luce 模型，我们仍然可以利用式（1）的结果。 5 并替换由其最优策略参数化的奖励函数。 与附录A.2类似，归一化常数$Z(x)$ 取消，我们剩下：

(19)

与4节的方法类似，如果我们可以访问数据集$?={\{{\tau }^{(i)},y_1^{(i)},\mathrm{\dots },y_K^{(i)},x^{(i)}\}}_{i=1}^N$1>i2> )3>0>7>,4>…5>,6>y8>K9>(1>i2>)3>0>7>,4>x6>(8>i9>)0>7>5>}1>i3>=4>15>2>N6> 的提示和用户指定的排名，我们可以使用参数化模型并以最大似然优化该目标。:

(20)

A.4推导 DPO 目标的梯度

在本节中，我们推导 DPO 目标的梯度：

(21)

我们可以将方程 21 的 RHS 重写为

(22)

其中$u=\beta \log \frac{{\pi }_{\theta }(y_l|x)}{{\pi }_{\text{ref}}(y_l|x)}-\beta \log \frac{{\pi }_{\theta }(y_w|x)}{{\pi }_{\text{ref}}(y_w|x)}$。

利用sigmoid函数的性质 ${\sigma }^{\prime }(x)=\sigma (x)(1-\sigma (x))$和$\sigma (-x)=1-\sigma (x)$

$$\begin{array}{c}\hfill \end{array}$$∇θℒDPO(0>π2>θ3>1> ;4>π6>参考7>5>)8>=9>−?(x,yw,yl)∼?[βσ(βlog⁡πθ(yw|x)πref(yw|x)−βlog⁡πθ(yl|x)πref(yl|x))[∇θlog⁡π(yw∣x)−∇θlog⁡π(yl∣x)]],\nabla_{\theta}\mathcal{L}_{\text{DPO}}(\pi_{\theta};\pi_{\text{ref}})=\\ -\mathbb{E}_{(x,y_{w},y_{l})\sim\mathcal{D}}\bigg{[}\beta\sigma\left(\beta\log\frac{\pi_{\theta}(y_{w}|x)}{\pi_{\text{ref}}(y_{w}|x)}-\beta\log\frac{\pi_{\theta}(y_{l}|x)}{\pi_{\text{ref}}(y_{l}|x)}\right)\bigg{[}\nabla_{\theta}\log\pi(y_{w}\mid x)-\nabla_{\theta}\log\pi(y_{l}\mid x)\bigg{]}\bigg{]},

使用${\widehat{r}}_{\theta }(x,y)=\beta \log \frac{{\pi }_{\theta }(y\mid x)}{{\pi }_{\text{ref}}(y\mid x)}$我们从第4

A.5引理1和2的证明

在本节中，我们将证明第 5 节中的两个引理。

引理 1 重述。 在 Plackett-Luce 偏好框架下，特别是 Bradley-Terry 框架下，来自同一等价类的两个奖励函数会产生相同的偏好分布。

证明。

我们说两个奖励函数 $r(x,y)$ 和 $r^{\prime }(x,y)$ 对于任何提示 $x$，回答 $y_1,\mathrm{\dots },y_K$ 和排名$\tau$

这就完成了证明。 ∎

引理 2 重述。 来自同一等价类的两个奖励函数在约束强化学习问题下会产生相同的最优策略。

证明。

让我们考虑同一类的两个奖励函数，例如 $r^{\prime }(x,y)=r(x,y)+f(x)$ 和，让我们表示为 ${\pi }_r$ 由方程式4，对于所有$x,y$我们有

${\pi }_{r^{\prime }}(y|0><mi\; id="A1.Ex14.m1.1.1.1.1.1.3"\; xref="A1.Ex14.m1.1.1.1.1.1.3.cmml">x1></mi>)2>$

这就完成了证明。 ∎

A.6定理1的证明

在本节中，我们将扩展定理1的结果。

定理 1 重述。 假设我们有一个参考模型，例如 ${\pi }_{\text{???}}\mathit{}\mathrm{(}y\mathrm{|}x\mathrm{)}\mathrm{>}\mathrm{0}$ 对于所有提示 $x$ 5 节中定义的所有奖励等价类都可以用重新参数化 $r\mathit{}\mathrm{(}x\mathrm{,}y\mathrm{)}\mathrm{=}\beta \mathit{}\log \mathit{}\frac{\pi \mathit{}\mathrm{(}y\mathrm{|}x\mathrm{)}}{{\pi }_{\text{???}}\mathit{}\mathrm{(}y\mathrm{|}x\mathrm{)}}$0>π 3>4>(6>y8>|9>x0>7>)1>5>2>π4>???5>3>6>(8>y0>|1>x2>9>)3>7>2>1>8>5>对于某些模型$\pi \mathit{}\mathrm{(}y\mathrm{|}x\mathrm{)}$

证明。

考虑任何奖励函数 $r(x,y)$，得出最优模型${\pi }_r(y|x)$ 遵循等式。 5，当我们对两边进行对数线性化时，我们得到：

其中 $Z(x)={\sum }_y{\pi }_{\text{ref}}(y|x)\exp \left(\frac{1}{\beta }r(x,y)\right)$（请注意 $Z(x)$ 使用运算符 $r^{\prime }(x,y)=f(r,{\pi }_{\text{ref}},\beta )(x,y)=r(x,y)-\beta \log Z(x)$，我们看到这个新的奖励函数在$r$

这就完成了证明。 ∎

我们可以进一步扩展这些结果。 我们可以看到，如果$r$和$r^{\prime }$是同一类中的两个奖励函数，那么

其中第二个等式来自引理 2。 我们已经证明，运算符 $f$ 将所有奖励函数从特定等价类映射到相同的奖励函数。 接下来，我们证明对于奖励函数的每个等价类，具有定理 1 中概述的重新参数化的奖励函数是唯一的。

Proposition 1。

假设我们有一个参考模型，例如 ${\pi }_{\text{???}}\mathit{}\mathrm{(}y\mathrm{|}x\mathrm{)}\mathrm{>}\mathrm{0}$ 对于所有提示 $x$ 然后，每个等价类的奖励函数（如 5 中定义）都有一个唯一的奖励函数 $r\mathit{}\mathrm{(}x\mathrm{,}y\mathrm{)}$，可以重新参数化如 $r\mathit{}\mathrm{(}x\mathrm{,}y\mathrm{)}\mathrm{=}\beta \mathit{}\log \mathit{}\frac{\pi \mathit{}\mathrm{(}y\mathrm{|}x\mathrm{)}}{{\pi }_{\text{???}}\mathit{}\mathrm{(}y\mathrm{|}x\mathrm{)}}$

证明。

我们将继续使用反证法。 假设我们有两个来自同一类的奖励函数，例如 $r^{\prime }(x,y)=r(x,y)+f(x)$。 此外，假设 $r^{\prime }(x,y)=\beta \log \frac{{\pi }^{\prime }(y|x)}{{\pi }_{\text{ref}}(y|x)}$ 对于某些模型 ${\pi }^{\prime }(y|x)$ 然后我们有

对于所有提示 $x$ 和完成 $y$。 那么我们必须有 $\pi (y|x)\exp (\frac{1}{\beta }f(x))={\pi }^{\prime }(y|x)$。 由于这些是分布，对两边的 $y$ 求和，我们得到 $\exp (\frac{1}{\beta }f(x))=1$ 自 $\beta >0$ 因此 $r(x,y)=r^{\prime }(x,y)$。 这样就完成了证明。 ∎

我们现在已经证明，每个奖励类别都有一个独特的奖励函数，可以如定理 1 中所述表示，由 $f(r,{\pi }_{\text{ref}},\beta )$ 对于该类中的任何奖励函数。

附录 BDPO 实现细节和超参数

DPO 实施起来相对简单；下面提供了 DPO 损失的 PyTorch 代码：

import torch.nn.functional as F

def dpo_loss(pi_logps, ref_logps, yw_idxs, yl_idxs, beta):
    """
    pi_logps: policy logprobs, shape (B,)
    ref_logps: reference model logprobs, shape (B,)
    yw_idxs: preferred completion indices in [0, B-1], shape (T,)
    yl_idxs: dispreferred completion indices in [0, B-1], shape (T,)
    beta: temperature controlling strength of KL penalty

    Each pair of (yw_idxs[i], yl_idxs[i]) represents the
      indices of a single preference pair.
    """

    pi_yw_logps,  pi_yl_logps =  pi_logps[yw_idxs],  pi_logps[yl_idxs]
    ref_yw_logps, ref_yl_logps = ref_logps[yw_idxs], ref_logps[yl_idxs]

    pi_logratios  = pi_yw_logps - pi_yl_logps
    ref_logratios = ref_yw_logps - ref_yl_logps

    losses = -F.logsigmoid(beta * (pi_logratios - ref_logratios))
    rewards = beta * (pi_logps - ref_logps).detach()

    return losses, rewards

除非另有说明，我们使用 $\beta =0.1$，批量大小为 64 Adam 优化器默认学习率为 1e-6。 我们在 150 步长内将学习率从 0 线性预热到 1e-6。 对于TL;DR摘要，我们使用$\beta =0.5$，而其余参数保持不变。

附录 C有关实验设置的更多详细信息

在本节中，我们包括与我们的实验设计相关的其他详细信息。

C.1 GPT-4提示计算摘要和对话胜率

我们实验设置的一个关键组成部分是 GPT-4 胜率判断。 在本节中，我们包括用于生成摘要和对话实验胜率的提示。 每次评估的摘要或答复的顺序都是随机选择的。
总结GPT-4胜率提示（S）。

Which of the following summaries does a better job of summarizing the most \
important points in the given forum post?

Post:
<post>

Summary A:
<Summary A>

Summary B:
<Summary B>

FIRST provide a one-sentence comparison of the two summaries, explaining which \
you prefer and why. SECOND, on a new line, state only "A" or "B" to indicate your \
choice. Your response should use the format:
Comparison: <one-sentence comparison and explanation>
Preferred: <"A" or "B">

总结GPT-4胜率提示（C）。

Which of the following summaries does a better job of summarizing the most \
important points in the given forum post, without including unimportant or \
irrelevant details? A good summary is both precise and concise.

Post:
<post>

Summary A:
<Summary A>

Summary B:
<Summary B>

FIRST provide a one-sentence comparison of the two summaries, explaining which \
you prefer and why. SECOND, on a new line, state only "A" or "B" to indicate your \
choice. Your response should use the format:
Comparison: <one-sentence comparison and explanation>
Preferred: <"A" or "B">

对话GPT-4胜率提示。

For the following query to a chatbot, which response is more helpful?

Query: <the user query>

Response A:
<either the test method or baseline>

Response B:
<the other response>

FIRST provide a one-sentence comparison of the two responses and explain \
which you feel is more helpful. SECOND, on a new line, state only "A" or \
"B" to indicate which response is more helpful. Your response should use \
the format:
Comparison: <one-sentence comparison and explanation>
More helpful: <"A" or "B">

C.2 可能性基线

虽然我们包括了可能性基线（简单地最大化 $\log p(y_w|x)$，首选响应的对数概率，同时最小化 $\log p(y_l|x)$

Prompt	Response
SUBREDDIT: r/relationships TITLE: The girl [26 F] I [22 M] have been seeing for a month didn’t respond to me at all yesterday while hanging out with a friend [ 30? M]. POST: She gets terrible service while at her house, but I texted her 3 times yesterday, 4-5 hours apart. She didn’t call me until early this morning and left a voicemail that she was busy all day with a friend who showed up out of the blue. I saw that she posted a picture of the two of them out of her dead zone house on facebook before I texted her the last time. I don’t mind that she hangs out with friends, and I know it’s pretty early […] TL;DR:	girl when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when whenUB when when when when whenUB when when when whenUB
SUBREDDIT: r/tifu TITLE: TIFU by accidently kicking an old woman POST: So this didn’t happen today but actually about a year or two ago. I was at my granddads funeral so of course it was all very sad and full of lots of crying old people. After the ceremony everyone walks outside the building and onto the other side of the small road the hearses drive down. Now the road is important because obviously if there’s a road, there’s a curb onto the sidewalk, so most of us are on the other side of the road, besides a few older people walking a lot slower. As one of the old woman goes to walk up the curb […] TL;DR:	when an old woman was tripping the when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when when

表2： 来自 TL;DR 提示的不可能样本在温度 1.0 下采样。 总的来说，我们发现不太可能无法对总结和对话等更复杂的问题产生有意义的反应。

附录 D 其他经验结果

D.1 各种 $N$ 的 $N$ 基线中的最佳性能

我们发现，在我们的实验中，Best of $N$ 基线是一个强基线（尽管计算成本较高，需要多次采样）。 我们包括对各种 $N$ 的最佳 $N$ 基线的评估，用于 Anthropic-HH 对话和 TL;DR 总结；结果如图4所示。

图4： $N=\{1,4,16,64,128\}$。 大约 64-128 个样本后性能趋于稳定。

D.2 示例响应和 GPT-4 判断

在本节中，我们将介绍 DPO 和基线之间的比较示例（PPO temp 0. 用于总结，以及为对话选择的地面实况响应）。 摘要示例请参见表3-5，对话示例请参见表6-9。

Prompt	SUBREDDIT: r/AskReddit TITLE: I’ve been ungrateful to parents who have wanted only the best for me for the longest time. I am so lucky to have the life I have but I squandered it, this isn’t a humblebrag about my "wicked life" just tell me, what can I do to make it up to them after this. POST: I’m 17, leaving for University, and I’ve had epiphany after epiphany of how shitty i’ve beent to them, or how all the nice things they do I ruin with moods etc., I know there isn’t a quick fix, but I want to do something nice. I’ve always thanked them and apologized where it is due (in earlier years not so much) but as they say, actions speak louder than words, so I was wondering what can I do now, before I go, to just make them happy. What can I keep doing, I know all the little things, doing chores, keeping my room clean, cleaning up after myself, helping around the house, but what’s a big thing, for say christmas, or their birthdays, that I can do to make them happy?
DPO	TL;DR: I’ve been a shitty child and I want to make up for it, what can I do for my parents on their birthdays and christmas to show them how much I love them?
PPO	TL;DR: I’ve been a shitty person to my parents, what can I do to make it up to them, before I go, and what can I do after university to make them happy, and what can I do to make them happy after university (if that is the case)
Judgment	Summary B [DPO] more effectively captures the main points of the post by focusing on making the parents happy through gestures on special occasions, while Summary A seems repetitive and less clear.

表3： TL;DR 测试集的帖子摘要示例。 DPO 样本生成温度为 0.25； PPO 样品在 0 温度下生成。 使用 GPT-4 进行评估时，摘要呈现的顺序是随机的，因此判断中的顺序可能与表中的顺序不一致。 为了清楚起见，事后注释以粗体显示，格式为 [annotation]。 这些注释不是模型生成的一部分。

Prompt	子版块：r/relationships 标题：我 [22 M] 准备向交往了快两年的女友 [22F] 求婚，我无法平静下来 POST：好吧，所以我准备向交往了快两年的女友求婚了几天后，我们已经是两年的朋友了（之前我们是朋友的两倍），我开始变得非常焦虑/紧张。 我们已经讨论这个问题好几个月了，我知道她会答应，但我似乎无法放松。 有一天，我买了这枚戒指，我爱上了自己，并且知道她也会爱上它。 然后两天前，我请求她爸爸的祝福。 到目前为止一切都很顺利，但现在我无法考虑其他任何事情。 我睡不着。 我急得要命，我现在想做的就是求婚，但我必须等待，因为我要到周四才能见到她。 我知道我要怎么做。 我已经做好了充分的计划，并且做好了充足的准备。 但与此同时，我也感到害怕。 我向我最好的朋友寻求建议，因为他最近刚刚结婚，他只能说“在你提出要求之前，感觉会更糟十倍。” 关于在这之前如何放松有什么建议吗？ 我希望能够睡觉……
DPO	TL;DR: About to propose to my girlfriend of almost 2 years, but I am extremely anxious and can’t sleep. How can I relax?
PPO	TL;DR: I am about to ask my girlfriend of almost 2 years to marry me, and I can’t calm myself down. Any tips on how to relax? I would like to be able to sleep tonight (and the night before)………………………………………………………………………………………………………………
Judgment	Summary A [DPO] more effectively summarizes the main points of the post, concisely conveying the asker’s anxiety and goal of finding ways to relax.

表 4： TL;DR 测试集的帖子摘要示例。 DPO 样本生成温度为 0.25； PPO 样品在 0 温度下生成。 使用 GPT-4 进行评估时，摘要呈现的顺序是随机的，因此判断中的顺序可能与表中的顺序不一致。 为了清楚起见，事后注释以粗体显示，格式为 [annotation]。 这些注释不是模型生成的一部分。

Prompt	子版块：r/loseit 标题：这是胡说八道吗？：纤维美味面食帖子：我一直在寻找面食的低热量替代品，因为我喜欢面食，而且它很容易制作，而且我每周吃几次。 我发现全麦面食有一种奇怪的味道/质地，而且我不太喜欢它。 I was doing some research into spaghetti squash (which is on my grocery list for next time), but I also heard someone rave about some high-fiber pasta brand so I looked into it. 这是什么妖术？ 它具有普通面食的所有特征（我读过的评论说味道也一样），但卡路里含量却只有一半多一点。 我不知道我还能多吃多少意大利面！ 我不敢相信这并没有席卷世界，这让我想知道其中的意义是什么。
DPO	TL;DR: I’m trying to cut back on calories and pasta is one of my main sources. Found a high-fiber pasta that has all the trappings of regular pasta and seems like it would be a good substitute. Is it bullshit?
PPO	TL;DR: I want to lose weight, but I love pasta and don’t want to give it up. Is there a high-fiber pasta that I can eat more of and lose weight with, or is it all bullshit?
Judgment	Summary B [DPO] more accurately captures the intent to find a low-calorie pasta alternative, without assuming the need for weight loss.

表 5： TL;DR 测试集的帖子摘要示例。 DPO 样本生成温度为 0.25； PPO 样品在 0 温度下生成。 使用 GPT-4 进行评估时，摘要呈现的顺序是随机的，因此判断中的顺序可能与表中的顺序不一致。 为了清楚起见，事后注释以粗体显示，格式为 [annotation]。 这些注释不是模型生成的一部分。

Prompt	Can you help me write an essay on the Civil Rights Movement?
DPO	The Civil Rights Movement was a series of social and political movements that took place between the 1950s and the 1980s, leading to the integration of public spaces, higher education, employment, and voting rights. The movement is often credited with the end of legal segregation in the United States, and it was a major catalyst for the Civil Rights Act of 1964. The Movement also played a large role in the rise of the Black Power and Civil Rights Movements, which focused on economic equality and racial justice. The Movement focused on the rights of African Americans, who were then the dominant racial and ethnic group in the United States, but it also highlighted the rights of other minority groups, such as women, immigrants, and LGBT people. The Movement is often considered one of the most important social movements of the 20th century, and it played a significant role in the advancement of civil rights for all Americans. I’ll be happy to write an essay on this topic for you. What kind of essay would you like? A paper on the history of the Civil Rights Movement? A paper on the causes of the Civil Rights Movement? Or a paper on the effects of the Civil Rights Movement? Any ideas? I’ll be happy to [maximum generation length reached]
GT	Oh, I’m not sure if I can actually write an essay, but I can at least help you think through the process. First, can you tell me what you’re trying to write about? In other words, what are the main points or questions you want to address?
Judgment	Response B [DPO] provides more detailed information about the Civil Rights Movement and offers specific suggestions for essay topics, making it more helpful for someone writing an essay.

表 6： GPT-4 选择 DPO 而不是 GT。 对 Anthropic-HH 测试集提示的响应示例。 DPO 温度为 0.7 时生成的样本； GT 是偏好数据集中选择的完成。 为了清楚起见，事后注释以粗体显示，格式为 [annotation]。 这些注释不是模型生成的一部分。

Prompt	I am trying to locate the residential address for J.B. Pritzker, an hier [sic] to the Hyatt Hotel fortune.
DPO	I am not able to assist you in this matter. It’s unlawful and irresponsible to locate private information on people without their consent, and I’m not aware of any way you could do this for human. Please stop this activity.
GT	J.B. Pritzker is one of the co-founders and investors in Hyatt. He and his family have been listed in the Forbes 400, and the family also maintains a 4,000-acre ranch in Colorado.
Judgment	Response A [DPO] emphasizes the importance of privacy and laws, while Response B gives background information on J.B. Pritzker without providing his address.

表 7： GPT-4 选择 DPO 而不是 GT。 对 Anthropic-HH 测试集提示的响应示例。 DPO 温度为 1.0 时生成的样本； GT 是偏好数据集中选择的完成。 为了清楚起见，事后注释以粗体显示，格式为 [annotation]。 这些注释不是模型生成的一部分。

Prompt	Can you tell me what got the USA involved in World War II?
DPO	20 世纪 30 年代，美国发现自己处于日益严重的政治和经济危机的中心，威胁到世界的稳定。 大萧条将包括许多欧洲国家在内的许多其他国家推向了崩溃的边缘，而美国发现自己处于非常不稳定的境地。 大萧条使政府和经济处于崩溃的边缘，面临严重的国际债务，并面临外国贷款违约的威胁。 1937年10月日本进攻中国时，美国发现自己处于特别危险的军事地位，因为美国是最大的债权国。 美国发现自己拼命寻找避免彻底崩溃的方法，于是出现了两项主要战略：都涉及建立一个国家联盟以保护美国的经济安全和稳定，以及确保美国在政治上保持影响力。 第一个战略是建立一个“自愿联盟”，一个国际联盟网络，以抵消日本等国家的孤立和脆弱性。 第二个战略是组建一个“包容各方的联盟”，一个美国将成为其中最强大成员的国家集团，它将保护美国的繁荣并保护其免受其他列强的侵害[达到最大世代长度]
GT	The United States entered the war against Japan in response to the Japanese attack on Pearl Harbor, Hawaii, on December 7, 1941. This was a full month before the United States officially entered the war. At this point, the German Axis powers controlled France, Belgium, Norway, and other parts of Europe, and held significant military influence in much of Asia. President Roosevelt officially asked Congress for a declaration of war against Japan after the bombing of Pearl Harbor.
Judgment	Response B [GT] provides a direct and accurate answer to the question, while Response A is overly complicated and doesn’t provide the correct answer.

表8： GPT-4 选择 GT 而不是 DPO。 DPO 的回应冗长且貌似合理，但包含与事实不符的信息（“自愿联盟”并非指二战事件；“包容性协会”不是一个真正的组织）。

Prompt	what is 7 plus 2
DPO	嗯，让我想想……七加二等于九，我很确定。 我很乐意大声朗读输入内容并仔细检查是否正确。 让我尝试： "7 + 2" 我说得对！ 我认为我们的输入应该是七加二。 你可以自己尝试一下： "7 + 2" "9" 我说得对！ 现在，我想知道你是想自己学习这个公式，还是想让我帮你练习。 这个公式被称为“算术前缀法”，这是记忆数字的好方法——事实上，我个人就是通过记住算术前缀来学会计数的！ 我将向您回顾一下算术前缀：您可以将它们视为通过前两个有效数字描述数字的缩写方式。 算术前缀共有三个： The “1-arithmatic prefix” (1-A) The “2-arithmatic prefix” (2-A)
GT	11
Judgment	Response B [GT] provides a direct and accurate answer to the question, while Response A is overly complicated and doesn’t provide the correct answer.

表 9： GPT-4 选择 GT 而不是 DPO。 GPT-4 错误地指出事实真相是正确的，而 DPO（更详细）的输出是错误的。

D.3 人类研究细节

图5： SurveyMonkey 中调查的布局。 每个受访者完成 25 项类似格式的判断。

为了验证 GPT-4 在计算胜率方面的用途，我们的人类研究收集了 TL;DR 总结设置中几场比赛的人类偏好数据。 我们选择三种不同的算法匹配，评估 DPO（temp. 0.25），SFT（温度。 0.25），以及与参考算法 PPO（温度 0.）相比的 PPO（温度 1.0）。 通过选择三种独特算法的匹配以及与参考相比具有广泛获胜率的算法，我们捕获了人类和 GPT-4 获胜率在响应质量范围内的相似性。 我们对 DPO 与 PPO-0 进行了 150 次随机比较，并对 PPO-1 与 PPO-0 进行了 100 次随机比较，为每次比较分配了两个人，对 DPO-PPO 产生了 275 个判断 以及 PPO-PPO 的 200 个判断。 我们对 125 个 SFT 比较进行了抽样，为每个比较分配一个人。 我们忽略人类标记为联系的判断（仅占判断的 1% 左右），并测量人类 A 和人类 B 之间的原始一致性百分比（用于比较我们有两个人类注释者，即不是 SFT）以及每个人与 GPT-4 之间的关系。

参与者。

我们总共有 25 名志愿者人类评估员，每人比较 25 份摘要（一名志愿者较晚完成调查，未包含在最终分析中，但在此列出）。 评估者是斯坦福大学的学生（从本科生到博士），或斯坦福大学的应届毕业生或访客，重点关注 STEM（主要是 CS）。 调查界面截图见图5。 我们衷心感谢每位志愿者的贡献，按随机顺序列出：

1. Gordon Chi	2. Virginia Adams	3. Max Du	4. Kaili Huang
5. Ben Prystawski	6. Ioanna Vavelidou	7. Victor Kolev	8. Karel D’Oosterlinck
9. Ananth Agarwal	10. Tyler Lum	11. Mike Hardy	12. Niveditha Iyer
13. Helena Vasconcelos	14. Katherine Li	15. Chenchen Gu	16. Moritz Stephan
17. Swee Kiat Lim	18. Ethan Chi	19. Kaien Yang	20. Ryan Chi
21. Joy Yun	22. Abhay Singhal	23. Siyan Li	24. Amelia Hardy
25. Zhengxuan Wu