第 6 章：直接偏好优化（DPO）

章节大纲

6.1 DPO 算法原理与优势

• 6.1.1 从 RLHF 到 DPO 的演进动机
• 6.1.2 DPO 的数学推导
• 6.1.3 相比 RLHF 的核心优势
• 6.1.4 DPO 的局限性分析

6.2 偏好数据的构造

• 6.2.1 偏好数据的来源
• 6.2.2 人工标注 vs 自动构造
• 6.2.3 数据质量评估
• 6.2.4 多模态偏好数据的特殊考虑

6.3 DPO vs RLHF 的实践对比

• 6.3.1 训练复杂度对比
• 6.3.2 计算资源需求
• 6.3.3 收敛速度与稳定性
• 6.3.4 最终效果评估

6.4 多目标优化与权衡

• 6.4.1 多维度偏好建模
• 6.4.2 权重平衡策略
• 6.4.3 帕累托前沿探索
• 6.4.4 动态权重调整

6.5 Case Study: Bunny 模型的 DPO 训练流程解析

• 6.5.1 Bunny 架构简介
• 6.5.2 偏好数据准备
• 6.5.3 训练配置与超参数
• 6.5.4 效果评估与分析

6.6 高级话题

• 6.6.1 IPO（Identity Preference Optimization）
• 6.6.2 KTO（Kahneman-Tversky Optimization）
• 6.6.3 拒绝采样策略（Rejection Sampling）
• 6.6.4 在线 DPO 与迭代优化

6.7 本章小结

6.8 练习题

6.9 常见陷阱与错误

6.10 最佳实践检查清单

开篇

直接偏好优化（Direct Preference Optimization, DPO）代表了大模型对齐技术的重要突破。与传统 RLHF 需要训练独立奖励模型并使用复杂的强化学习算法不同，DPO 将人类偏好学习重新表述为一个简单的分类问题，直接在偏好数据上优化策略模型。这种优雅的简化不仅大幅降低了训练复杂度，还在多个基准测试中展现出与 RLHF 相当甚至更优的性能。本章将深入探讨 DPO 在视觉语言模型中的应用，帮助你掌握这一高效的对齐技术。

学习目标

完成本章学习后，你将能够：

• 理解 DPO 的核心原理：掌握 Bradley-Terry 模型和隐式奖励建模的数学基础
• 构建高质量偏好数据：设计多模态偏好数据收集流程，处理视觉-语言对齐的特殊挑战
• 实施 DPO 训练：配置合适的超参数，避免常见的训练陷阱
• 比较不同对齐方法：量化评估 DPO、RLHF、IPO 等方法的优劣
• 优化多目标权衡：平衡帮助性、诚实性、无害性等多维度目标
• 诊断训练问题：快速定位过优化、分布偏移等问题并解决

6.1 DPO 算法原理与优势

6.1.1 从 RLHF 到 DPO 的演进动机

RLHF 虽然在 ChatGPT 等模型中取得巨大成功，但其训练流程存在显著的工程复杂性：

1. 三阶段训练流程： - 阶段 1：监督微调（SFT） - 阶段 2：训练奖励模型（RM）
   - 阶段 3：使用 PPO 进行强化学习优化

2. 工程挑战： - PPO 需要精细调参（KL 系数、clip range、GAE λ 等） - 训练不稳定，容易出现 reward hacking - 需要维护 4 个模型（actor、critic、reference、reward model） - 显存占用巨大，训练速度慢

3. VLM 特有问题： - 视觉特征的高维度导致奖励模型训练困难 - 多模态输入使 PPO 的 value estimation 更不稳定 - 批处理时图像尺寸不一致带来额外开销

DPO 的核心洞察是：我们可以绕过显式的奖励建模，直接从偏好数据中学习最优策略。

6.1.2 DPO 的数学推导

DPO 基于 Bradley-Terry 偏好模型，将人类偏好建模为：

$$P(y_w \succ y_l | x) = \sigma(r(x, y_w) - r(x, y_l))$$ 其中 $y_w$ 是偏好响应，$y_l$ 是非偏好响应，$\sigma$ 是 sigmoid 函数。

关键推导步骤：

步骤 1：RLHF 的目标函数 $$\max_{\pi} \mathbb{E}_{x \sim D, y \sim \pi(y|x)}[r(x,y)] - \beta \mathbb{D}_{KL}[\pi(y|x) || \pi_{ref}(y|x)]$$ 步骤 2：最优解的闭式形式 $$\pi^*(y|x) = \frac{1}{Z(x)} \pi_{ref}(y|x) \exp\left(\frac{r(x,y)}{\beta}\right)$$ 其中 $Z(x)$ 是配分函数。

步骤 3：重参数化奖励函数 $$r(x,y) = \beta \log \frac{\pi^*(y|x)}{\pi_{ref}(y|x)} + \beta \log Z(x)$$ 步骤 4：代入 Bradley-Terry 模型

由于 $Z(x)$ 在比较中会抵消，我们得到： $$P(y_w \succ y_l | x) = \sigma\left(\beta \log \frac{\pi^*(y_w|x)}{\pi_{ref}(y_w|x)} - \beta \log \frac{\pi^*(y_l|x)}{\pi_{ref}(y_l|x)}\right)$$ 步骤 5：DPO 损失函数 $$\mathcal{L}_{DPO}(\pi_\theta; \pi_{ref}) = -\mathbb{E}_{(x,y_w,y_l) \sim D}\left[\log \sigma\left(\beta \log \frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)}\right)\right]$$ 这个损失函数直接优化策略 $\pi_\theta$，无需训练独立的奖励模型！

6.1.3 相比 RLHF 的核心优势

1. 训练简化

RLHF 流程：
SFT → Train RM → PPO (actor + critic + ref + RM)
显存需求：4× 模型大小 + 优化器状态

DPO 流程：
SFT → DPO (policy + ref)
显存需求：2× 模型大小 + 优化器状态

2. 稳定性提升 - 无需调节 PPO 的复杂超参数 - 梯度直接来自偏好数据，避免了 RL 的高方差问题 - 不会出现 reward hacking 现象

3. 计算效率 - 训练速度提升 2-3 倍（无需 reward model 前向传播） - 显存占用减少 40-50% - 支持更大的 batch size，提高 GPU 利用率

4. VLM 适配性 - 视觉特征直接参与偏好学习，无需单独建模 - 批处理更高效（无需维护多个模型的激活值） - 支持任意分辨率图像的端到端优化

6.1.4 DPO 的局限性分析

尽管 DPO 有诸多优势，但也存在一些固有限制：

1. 对数据质量的敏感性 DPO 直接从偏好对中学习，数据噪声会直接影响最终效果：

• 标注不一致会导致优化方向混乱
• 需要足够的数据覆盖度，否则容易过拟合
• 偏好强度信息丢失（只有二元偏好）

2. 分布偏移问题 DPO 假设偏好数据来自某个固定分布，但实际中：

• 模型在训练过程中会产生新的分布
• 离线数据可能无法覆盖在线生成的案例
• 需要迭代收集数据进行多轮优化

3. 隐式奖励的不可解释性 - 无法直接获得奖励分数，难以调试 - 无法进行奖励工程（reward shaping） - 难以融入领域知识或规则约束

4. 多模态特有挑战 - 视觉-语言偏好可能存在模态间冲突 - 图像理解错误和文本生成错误的权重难以平衡 - 幻觉问题的处理需要特殊设计

6.2 偏好数据的构造

高质量的偏好数据是 DPO 成功的关键。对于 VLM，偏好数据的构造需要同时考虑视觉理解和语言生成两个维度。

6.2.1 偏好数据的来源

1. 人工标注

最直接但成本最高的方式：

输入样本：
Image: [一张包含多个物体的复杂场景图]
Question: "请描述图中的主要内容"

响应 A（preferred）：
"图片展示了一个现代化的开放式厨房，中央是一个大理石台面的岛台。
左侧有不锈钢冰箱和嵌入式烤箱，右侧是煤气灶和抽油烟机。
背景可见餐厅区域，有一张木质餐桌和四把椅子。"

响应 B（dispreferred）：
"这是一个厨房的图片。里面有一些厨房设备和家具。"

标注理由：A 提供了详细准确的描述，B 过于简略

2. AI 辅助标注

使用强大的模型（如 GPT-4V）生成偏好对：

# 伪代码示例
def generate_preference_pair(image, prompt):
    # 生成多个候选响应
    responses = []
    for temperature in [0.3, 0.7, 1.0]:
        response = strong_model.generate(
            image=image,
            prompt=prompt,
            temperature=temperature,
            num_samples=3
        )
        responses.extend(response)

    # 使用评分模型排序
    scores = evaluator_model.score(image, prompt, responses)

    # 选择最好和较差的配对
    best_idx = np.argmax(scores)
    worst_idx = np.argmin(scores)

    return {
        "preferred": responses[best_idx],
        "dispreferred": responses[worst_idx],
        "score_diff": scores[best_idx] - scores[worst_idx]
    }

3. 拒绝采样（Rejection Sampling）

从模型自身生成的多个样本中选择：

步骤 1：对每个输入生成 K 个响应（K=5-10）
步骤 2：使用奖励模型或规则评分
步骤 3：选择最高分作为 preferred，最低分作为 dispreferred
步骤 4：过滤掉分数差异小于阈值的对

4. 在线收集

从实际用户交互中收集：

• A/B 测试中的用户选择
• 用户的点赞/点踩反馈
• 会话中的重新生成请求（原始响应作为 dispreferred）

6.2.2 人工标注 vs 自动构造

| 维度 | 人工标注 | 自动构造 |

混合策略：

1. 使用少量高质量人工数据作为种子
2. 训练评分模型或使用 GPT-4V 扩展
3. 人工验证自动生成的数据子集
4. 迭代优化生成策略

6.2.3 数据质量评估

1. 偏好强度分析

并非所有偏好对都同等重要：

def calculate_preference_strength(preferred, dispreferred, image):
    # 方法 1：使用多个评分维度
    scores_p = evaluate_multi_dim(preferred, image)
    scores_d = evaluate_multi_dim(dispreferred, image)

    dimensions = ['accuracy', 'completeness', 'relevance', 'fluency']
    strength = 0
    for dim in dimensions:
        strength += max(0, scores_p[dim] - scores_d[dim])

    # 方法 2：使用 Bradley-Terry 概率
    bt_prob = sigmoid(score_diff)
    strength = 2 * abs(bt_prob - 0.5)  # 0 到 1

    return strength

2. 一致性检验

检测标注冲突和循环偏好：

冲突示例：
对于相同输入 x：

- 数据点 1：A > B
- 数据点 2：B > A

循环偏好：

- A > B
- B > C  
- C > A

处理方法：

1. 重新标注冲突样本
2. 使用多数投票
3. 引入偏好强度权重

3. 分布覆盖分析

确保数据覆盖各种场景：

def analyze_coverage(preference_data):
    coverage_stats = {
        'image_types': {},      # 自然图像、图表、文档等
        'question_types': {},    # 描述、推理、计数等
        'error_types': {},       # 幻觉、不完整、不相关等
        'response_lengths': {},  # 短、中、长回复
    }

    for sample in preference_data:
        # 分类并统计
        update_coverage_stats(sample, coverage_stats)

    # 识别欠覆盖区域
    underrepresented = find_gaps(coverage_stats)
    return coverage_stats, underrepresented

6.2.4 多模态偏好数据的特殊考虑

1. 视觉理解 vs 语言生成的权衡

示例偏好对：
输入：[复杂街景图] + "描述图中的交通状况"

响应 A：
"图中显示了繁忙的十字路口，有3辆汽车正在等待红灯，
2名行人在斑马线上，整体交通较为拥堵。"
[视觉理解：准确 ✓，语言生成：一般]

响应 B：
"这是一个充满活力的城市街景，阳光洒在熙熙攘攘的街道上，
展现了都市生活的繁忙与美好。"
[视觉理解：模糊 ✗，语言生成：优美 ✓]

标注困难：如何权衡准确性与表达质量？

2. 幻觉检测与惩罚

专门构造惩罚幻觉的偏好对：

def create_hallucination_pairs(image, base_response):
    # 方法 1：注入幻觉
    hallucinated = inject_false_details(base_response, image)

    # 方法 2：使用对抗样本
    adversarial_prompt = create_misleading_prompt(image)
    hallucinated = model.generate(image, adversarial_prompt)

    return {
        "preferred": base_response,
        "dispreferred": hallucinated,
        "pair_type": "anti_hallucination"
    }

3. 细粒度属性对齐

属性维度：

- 空间关系理解（上下左右、远近）
- 数量识别（计数准确性）
- 属性描述（颜色、大小、材质）
- 动作识别（动词使用准确性）
- 情感理解（表情、氛围）

构造策略：

1. 为每个维度单独收集偏好对
2. 使用属性编辑创造对比样本
3. 多维度聚合评分

4. 长文本生成的偏好构造

def construct_long_text_preferences(image, task):
    if task == "detailed_description":
        criteria = [
            "逻辑结构清晰",
            "细节丰富准确",
            "无重复冗余",
            "保持连贯性"
        ]
    elif task == "story_generation":
        criteria = [
            "与图像内容相关",
            "情节合理",
            "创意但不离谱",
            "结构完整"
        ]

    # 基于criteria生成和评估
    responses = generate_multiple(image, task)
    scores = evaluate_by_criteria(responses, criteria)
    return create_preference_pairs(responses, scores)

5. 跨模态一致性

确保视觉和语言信息的对齐：

一致性检查项：
□ 提到的物体在图像中确实存在
□ 描述的空间关系准确
□ 颜色、数量等属性正确
□ 没有添加图像中不存在的元素
□ 动作和状态描述合理

自动检查工具：

- 使用目标检测模型验证物体
- 使用 VQA 模型验证属性
- 使用 grounding 模型验证定位

6.3 DPO vs RLHF 的实践对比

在实际项目中选择 DPO 还是 RLHF，需要从多个维度进行权衡。以下基于真实 VLM 训练经验提供详细对比。

6.3.1 训练复杂度对比

RLHF 的复杂性来源：

1. 多阶段串行依赖

问题链：
SFT 质量差 → RM 学习困难 → PPO 不稳定 → 最终效果差

每个阶段都需要独立调试：

- SFT：学习率、数据配比、训练轮数
- RM：标签平滑、类别平衡、过拟合控制
- PPO：KL系数、clip范围、value loss系数、GAE参数

2. 超参数爆炸

RLHF 需要调节约 20+ 个关键超参数：

• PPO 专有：clip_range (0.1-0.3)、value_clip、entropy_coef
• KL 控制：init_kl_coef (0.01-0.2)、target_kl (3-10)
• 优化器：actor_lr、critic_lr（通常不同）
• 采样：num_rollouts、chunk_size、mini_batch_size

相比之下，DPO 只需调节 3-5 个超参数：

• beta (0.1-0.5)：控制与参考模型的偏离程度
• learning_rate (1e-6 - 5e-6)
• 标准的 weight_decay、warmup_ratio

3. 调试难度差异

RLHF 调试地狱：
症状：训练 10 小时后 reward 突然崩溃
可能原因：

- PPO 的 ratio 超出 clip range 太多
- KL 惩罚系数自适应调整失控
- Critic 过拟合导致 advantage 估计错误
- 采样分布偏移导致 off-policy 问题加剧

DPO 调试：
症状：验证集偏好准确率不提升
可能原因（简单很多）：

- Beta 设置不当（过大则退化为 SFT，过小则过拟合）
- 数据质量问题（检查偏好对强度分布）
- 学习率过大（降低即可）

4. 代码实现复杂度

RLHF 实现需要处理复杂的数据流：

• 维护 experience buffer
• 实现 GAE 计算
• 处理 padding 和 attention mask 的对齐
• 多 GPU 同步（actor、critic、reference、reward model）

DPO 实现相对简洁：

• 标准的监督学习流程
• 只需计算 log probability 的差值
• 单一模型的分布式训练

6.3.2 计算资源需求

真实案例对比（基于 13B VLM 模型）：

| 资源维度 | RLHF | DPO | DPO 优势 |

显存占用详细分析：

RLHF 显存分解（13B 模型，bf16）：

- Actor model：26 GB（参数 + 梯度 + 优化器状态）
- Critic model：13 GB（通常是较小模型）
- Reference model：13 GB（frozen，只需参数）
- Reward model：13 GB（frozen）
- Activations：8-10 GB（取决于序列长度）
- PPO buffer：3-5 GB
总计：~76 GB（需要多卡分布）

DPO 显存分解：

- Policy model：26 GB
- Reference model：13 GB（frozen）
- Activations：5-6 GB（批次可以更大）
总计：~45 GB（单机可训）

批处理效率提升：

DPO 支持更大的批处理，原因是：

1. 无需存储 PPO 的 trajectory
2. 无需为 value estimation 保留中间状态
3. 可以使用 gradient accumulation 模拟大批次

实测批处理大小对比：

• RLHF：最大 batch_size = 4（受限于多模型显存）
• DPO：最大 batch_size = 16（4× 提升）

6.3.3 收敛速度与稳定性

收敛曲线特征对比：

RLHF 典型曲线：
Reward ↑
    │     ╱╲    ╱╲
    │    ╱  ╲  ╱  ╲    震荡
    │   ╱    ╲╱    ╲╱╲
    │  ╱              ╲  可能崩溃
    │ ╱
    └────────────────> Steps

DPO 典型曲线：
Preference Accuracy ↑
    │        ╱───────  平稳
    │      ╱─
    │    ╱─
    │  ╱─
    │ ╱     单调递增
    └────────────────> Steps

稳定性定量分析：

基于 20 次独立训练运行的统计：

| 指标 | RLHF | DPO |

不稳定性案例分析：

RLHF 常见崩溃模式：

1. Reward Hacking：模型找到奖励函数漏洞 - 症状：reward 飙升但实际质量下降 - 例子：生成超长回复来获得"详细性"奖励

2. KL 爆炸：与参考模型偏离过大 - 症状：生成胡言乱语，分布完全偏移 - 原因：KL 系数自适应调整失效

3. Value Function 崩溃：critic 预测失准 - 症状：advantage 估计错误，策略更新方向错误 - 原因：critic 过拟合或欠拟合

DPO 的稳定性优势：

• 损失函数有明确的下界（0）
• 不依赖 value estimation
• 梯度直接来自数据，方差小

6.3.4 最终效果评估

多维度性能对比（基于标准 VLM 基准）：

| 评估维度 | 测试集 | RLHF | DPO | 说明 |

效果差异的深层原因：

1. RLHF 的优势场景： - 需要复杂的多步推理 - 有明确的奖励信号可以建模 - 在线学习场景（可以实时采样）

2. DPO 的优势场景： - 偏好数据质量高且充足 - 需要快速迭代和稳定训练 - 计算资源受限

3. 关键发现： - 在偏好数据充足时，DPO 和 RLHF 效果相当 - DPO 在小数据集上表现更稳定 - RLHF 在复杂任务上有轻微优势（1-2%）

6.4 多目标优化与权衡

在实际应用中，VLM 需要同时优化多个目标：准确性、安全性、创造性、简洁性等。这些目标之间往往存在冲突，如何平衡是 DPO 训练的关键挑战。

6.4.1 多维度偏好建模

VLM 的典型优化维度：

1. 核心能力维度 - 视觉准确性：正确识别物体、场景、关系 - 语言流畅性：生成自然、连贯的文本 - 指令遵循：准确理解并执行用户意图 - 知识运用：结合世界知识进行推理

2. 安全性维度 - 幻觉控制：避免描述不存在的内容 - 有害内容过滤：拒绝生成不当内容 - 隐私保护：不泄露图像中的敏感信息 - 偏见缓解：公平对待不同群体

3. 用户体验维度 - 响应长度：根据需求调整详细程度 - 创造性：在合理范围内展现想象力 - 个性化：适应不同用户偏好 - 交互性：支持多轮对话和澄清

多维度偏好数据构造示例：

在实践中，需要为每个维度收集针对性的偏好对。例如，对于幻觉控制维度，可以通过对比包含幻觉和不包含幻觉的响应来构造偏好对。对于安全性维度，则需要确保 preferred 响应符合安全准则。

6.4.2 权重平衡策略

1. 静态权重方法

最简单的方法是预设固定权重： $$\mathcal{L}_{multi} = \sum_{i} w_i \cdot \mathcal{L}_{DPO}^{(i)}$$

其中 $w_i$ 是第 $i$ 个目标的权重。

常见权重配置：

标准配置：

- 准确性：0.4
- 安全性：0.3  
- 帮助性：0.2
- 简洁性：0.1

安全优先配置：

- 安全性：0.5
- 准确性：0.3
- 帮助性：0.15
- 简洁性：0.05

2. 自适应权重调整

根据训练进展动态调整权重，给改进缓慢的目标分配更多权重，确保各维度均衡发展。这种方法可以避免模型在某些维度过度优化而忽略其他重要方面。

3. 约束优化方法

将某些目标作为硬约束，例如要求安全性得分必须超过特定阈值。这种方法适用于有明确底线要求的场景，如医疗或金融应用。

6.4.3 帕累托前沿探索

帕累托最优是多目标优化的核心概念。当无法在不损害其他目标的情况下改进某个目标时，即达到帕累托最优。

在 VLM 训练中，探索帕累托前沿的策略包括：

1. 多模型训练：训练多个不同权重配置的模型，每个模型代表帕累托前沿上的一个点
2. 条件化训练：将目标权重作为模型输入的一部分，使单个模型能够根据需求调整行为
3. 混合专家架构：不同专家模块负责优化不同目标，通过门控机制动态组合

通过系统地探索帕累托前沿，可以为不同应用场景提供最优的模型配置。

6.4.4 动态权重调整

场景感知的权重调整：

不同类型的输入可能需要不同的优化重点。例如：

• 医疗图像分析：准确性权重最高（0.7）
• 儿童教育内容：安全性权重最高（0.6）
• 创意写作任务：创造性权重最高（0.5）

用户偏好学习：

通过分析用户的历史交互，可以学习个性化的权重配置：

• 频繁要求更详细回答的用户 → 增加详细度权重
• 对安全问题敏感的用户 → 增加安全性权重
• 喜欢创意内容的用户 → 增加创造性权重

在线适应机制：

基于即时反馈动态调整模型行为：

• 收到安全性投诉 → 临时提高安全阈值
• 收到准确性质疑 → 加强事实核查
• 收到冗长投诉 → 缩短响应长度

6.5 Case Study: Bunny 模型的 DPO 训练流程解析

Bunny 是一个采用 DPO 进行对齐的开源 VLM，其训练流程展示了 DPO 在实际项目中的最佳实践。

6.5.1 Bunny 架构简介

Bunny 采用经典的视觉编码器 + 投影层 + 语言模型架构：

• 视觉编码器：CLIP ViT-L/14，输入分辨率 336×336
• 投影层：2 层 MLP，将 1024 维视觉特征映射到语言模型维度
• 语言模型：Bunny-3B 基于 Phi-2，Bunny-7B 基于 Llama-2

这种架构设计平衡了性能和效率，视觉编码器提供强大的视觉理解能力，投影层实现跨模态对齐，语言模型负责理解和生成。

6.5.2 偏好数据准备

Bunny 的偏好数据来源多样化：

数据组成：

• 20% 人工标注：聚焦复杂推理和安全关键场景
• 50% GPT-4V 生成：大规模指令遵循和详细度对比
• 30% 自举采样：通过拒绝采样增加多样性

质量控制标准：

• 偏好强度 > 0.3（确保 preferred 和 dispreferred 有明显差异）
• 语法正确性检查
• 幻觉检测（preferred 响应不能包含明显幻觉）
• 错误类型覆盖（确保涵盖各类常见错误）

数据处理流程：

1. 原始数据收集（约 50K 样本）
2. 质量过滤（保留 35K 高质量样本）
3. 类别平衡（推理 30%、描述 25%、对话 25%、创意 20%）
4. 困难样本挖掘（添加 5K 困难负例）

6.5.3 训练配置与超参数

关键超参数选择：

• Beta = 0.1：经过网格搜索确定的最优值
• < 0.05：模型偏离过大，性能退化

• 0.5：改进不明显，接近 SFT

• 学习率 = 5e-7：比 SFT 阶段低一个数量级

• 避免灾难性遗忘

• 保持稳定的优化进展

• 训练轮数 = 3：

• 第 1 轮：快速改进基础指标
• 第 2 轮：稳定提升对齐质量
• 第 3 轮：细微调整，避免过拟合

训练策略：

• 冻结视觉编码器，只更新投影层和语言模型
• 使用梯度检查点节省显存
• 批次大小 32（通过梯度累积实现）
• 余弦学习率调度，3% warmup

6.5.4 效果评估与分析

性能提升：

基础能力保持：

• VQAv2: 79.8% → 80.2% (+0.4%)
• GQA: 61.3% → 61.9% (+0.6%)
• TextVQA: 58.2% → 58.5% (+0.3%)

对齐质量显著改善：

• 人类偏好胜率：67.3%（vs SFT baseline）
• 幻觉率降低：15.8% → 12.1% (-23.4%)
• 指令遵循：71.2% → 78.6% (+10.4%)
• 安全性拒绝：82.3% → 91.7% (+11.4%)

关键发现：

1. 效率优势： - 训练时间仅需 12 小时（8×A100） - 相比 RLHF 节省 70% 时间 - 调参迭代次数减少 70%

2. 稳定性优势： - 训练过程平稳，无崩溃 - 对超参数不敏感 - 结果可复现性高

3. 存在的局限： - 创造性任务略有退化 - 倾向生成较短响应 - 某些场景过度谨慎

经验教训：

1. 数据质量比数量更重要：5K 高质量偏好对效果优于 50K 低质量数据
2. Beta 参数需要针对数据集特点调优
3. 迭代优化很关键：基于第一轮结果收集新偏好数据
4. 多目标平衡需要精心设计：安全性和创造性存在固有张力