DPO

Direct Preference Optimization 直接偏好优化

ref: [2305.18290] Direct Preference Optimization: Your Language Model is Secretly a Reward Model

概述

DPO 的优势，相比较 RLHF ，DPO 直接修改奖励函数，而不需要独立的奖励模型来训练。

输入数据包含三方面

• 提示词：x ，表示具体处理的任务。
• 正面结果 win 的样本
• 负面结果 lose 的样本

DPO 就是最大化正面结果的概率，最小化负面结果的概率。

在 DPO 过程中，处理两个模型：

• 策略模型 ${\pi }_{\theta }$（正在被训练的模型）
• 参考模型 ${\pi }_{ref}$（与策略模型一致的，固定参数的模型）

损失函数的构建：提升正面结果的输出概率，降低负面结果的概率。

RLHF 的对比

在 RLHF 中，最大化的目标函数为：

${\max }_{{\pi }_{\theta }}J({\pi }_{\theta })={\mathbb{E}}_{x\sim \mathcal{D},y\sim {\pi }_{\theta }(\cdot |x)}[r^{\ast }(x,y)]-\beta {\mathbb{D}}_{KL}({\pi }_{\theta }(\cdot |x)||{\pi }_{ref}(\cdot |x))$

• x 是提示词输入，y 是回答
• r* 表示奖励函数，这个模型需要训练得到
• 右侧计算了 KL散度，代表了策略模型和参考模型的分离程度
• beta 是一个超参数，用于控制惩罚权重

DPO 的优化

DPO 在 RLHF 的基础上，发以上公式居然有解析解

${\pi }^{\ast }(y|x)=\frac{1}{Z(x)}{\pi }_{ref}(y|x)\exp \left(\frac{1}{\beta }{r}^{\ast }(x,y)\right)$

• 左侧代表最优解的模型

移项得到：

$r^{\ast }(x,y)=\beta \log \frac{{\pi }^{\ast }(y|x)}{{\pi }_{ref}(y|x)}+\beta \log Z(x)$

• 最优奖励函数，不需要训练，直接就可以用策模型和参考模型之间的比值表示.

BT偏好模型 的引入

BT偏好模型，提供一个假设：“这个模型比那个模型好过多少？”

$P(y_w\succ y_l|x)=\sigma (r^{\ast }(x,y_w)-r^{\ast }(x,y_l))$

• (其中 $\sigma (z)=\frac{1}{1+e^{-z}}$) 是一个 sigmoid 函数

将上式得到的结果代入

$P(y_w\succ y_l|x;\theta )=\sigma \left(\beta \left[\log \left(\frac{{\pi }_{\theta }(y_w|x)}{{\pi }_{ref}(y_w|x)}\right)-\log \left(\frac{{\pi }_{\theta }(y_l|x)}{{\pi }_{ref}(y_l|x)}\right)\right]\right)$ 转换为优化问题，利用 MLE 最大化这个 $\theta$ ，损失函数即为最小化 负对数似然

获得损失函数

${\mathcal{L}}_{DPO}({\pi }_{\theta };{\pi }_{ref})=-{\mathbb{E}}_{(x,y_w,y_l)\sim \mathcal{D}}\left[\log \sigma \left(\beta \log \frac{{\pi }_{\theta }(y_w|x)}{{\pi }_{ref}(y_w|x)}-\beta \log \frac{{\pi }_{\theta }(y_l|x)}{{\pi }_{ref}(y_l|x)}\right)\right]$

最小化以上公式，获得最终的 $\theta$ 参数值。