第 9 章：训练策略与配方（从预训练到对齐）

1. 开篇段落：从食材到米其林

拥有 10000 小时的 AISHELL 数据和 2000 小时的 AudioSet 数据，并不意味着你能直接训练出一个全能的“Audio-GPT”。就像拥有顶级和牛与松露，如果火候掌握不好，依然可能做出一盘难以下咽的菜肴。

在音频模型的训练中，Data Recipe（数据配方）——即数据的混合比例、引入时机、采样策略——往往比模型架构的微调更决定成败。同时，音频数据特有的变长特性、连续信号特性，给工程实现带来了独特的挑战。

本章学习目标：

1. 掌握三大预训练范式：自监督（SSL）、弱监督与跨模态对齐的本质区别与选型逻辑。
2. 精通数据混合（Data Mixing）：如何通过数学方法平衡“海量低质数据”与“少量高质数据”。
3. 实施指令微调（SFT）：构建高质量 (Instruction, Audio, Text) 三元组的规范与技巧。
4. 生成模型特训：掌握 Codec 训练、Classifier-Free Guidance (CFG) 等生成任务特有的 Trick。
5. 建立闭环：如何构建一个“评测驱动（Evaluation-Driven）”的训练流水线。

2. 预训练范式：地基的构建

预训练决定了模型对声音信号的“物理感知”和“语义抽象”能力的上限。

2.1 三大主流范式对比

| 范式 | 代表作 | 核心逻辑 | 优势 | 劣势 | 典型数据 |

2.2 选型决策树

• 场景 A：我要做一个通用的 Audio-LLM（能听懂语音，也能听懂环境音）。

• 推荐路线：Encoder 融合。使用一个 Whisper Encoder（负责语音语义） + 一个 BEATs/CLAP Encoder（负责环境音）进行 Feature Concat，作为 LLM 的输入。

• 场景 B：我要做垂直领域的语音识别（如方言、医疗）。

• 推荐路线：基于 WavLM/HuBERT 进行 Continue Pre-training，因为 SSL 对声学特征更敏感。

• 场景 C：资源受限，不想从头训练。

• 推荐路线：冻结 Encoder。直接使用预训练好的 Encoder 提取特征，只训练一个轻量级的 Projector（如 Q-Former 或简单的 Linear Layer）连接到 LLM。

Rule of Thumb (经验法则) 不要试图用一套参数同时解决“高保真音乐生成”和“超低比特率语音压缩”。理解任务（Understanding）通常需要高度压缩的语义特征（如 Whisper output），而生成任务（Generation）需要富含细节的声学特征（如 Encodec/DAC tokens）。理解与生成的分离（Decoupling）往往是工程上的最优解。

3. 数据混合（Data Mixing）：平衡的艺术

这是本章最核心的工程部分。当你手头有 5 万小时的 ASR 数据（大象）和 50 小时的 QA 数据（蚂蚁）时，如何防止模型只学会听写而忘了思考？

3.1 采样策略的可视化与数学

我们需要一个采样器（Sampler），决定下一个 Batch 从哪个数据源取数据。

策略一：直接拼接 (Concat) - ❌ 错误示范

直接把所有数据混在一起。

• 结果：模型在前 99% 的时间里都在学 ASR，QA 任务被完全淹没，几乎不收敛。

策略二：温度采样 (Temperature Sampling) - ✅ 行业标准

通过温度参数 平滑数据分布。

设第 个数据集的大小为 ，其被采样的概率 计算如下：

• ****：原始比例（Proportional）。大吃小。
• *：*上采样（Oversampling）小数据集，下采样（Undersampling）大数据集。
• ****：均匀分布。所有任务平起平坐。

ASCII 图示：不同温度下的采样概率

数据集大小:  [ ASR (10,000h) ]  [ SED (1,000h) ]  [ QA (100h) ]

(T=1.0)      ####################  ##                .
             (ASR 霸占计算资源)

(T=3.0)      ###########           #######           #####
             (QA 数据集被"放大"了，获得了更多训练步数)

(T=Inf)      #######               #######           #######
             (完全平等，容易导致 ASR 过拟合)

最佳实践：通常设置 在 3 到 5 之间。这既保证了基础能力（ASR）不退化，又让稀有任务（QA）有足够的曝光率。

3.2 动态混合策略（Curriculum Mixing）

不要在一个静态的配方上一条路走到黑。

1. 热身期 (Warmup Phase)：。主要训练 ASR 和 Audio Captioning 等大数据集，建立基础的感知能力和语言对齐能力。
2. 退火期 (Annealing Phase)：逐渐调大 。引入复杂的 Reasoning、Sqa、Chain-of-Thought 数据。
3. 微调期 (SFT Phase)：仅保留极少量的 ASR 数据（约 5-10%）作为正则化项（Regularization）防止遗忘，其余全部为高质量指令数据。

4. 指令微调 (SFT)：从“录音机”到“助手”

SFT 的目标是将所有的音频任务转化为多轮对话格式。

4.1 统一数据格式 (Schema)

建议所有数据集转化为如下 JSONL 格式：

{
  "id": "clotho_val_001",
  "audio": "path/to/audio.wav",
  "duration": 15.4,
  "conversations": [
    {
      "from": "human",
      "value": "<audio>\nWhat is happening in this audio clip?"
    },
    {
      "from": "gpt",
      "value": "A heavy thunderstorm is raging with loud thunder claps and continuous rain hitting the pavement."
    },
    {
      "from": "human",
      "value": "Is there any human voice?"
    },
    {
      "from": "gpt",
      "value": "No, I do not detect any human speech, only environmental sounds."
    }
  ]
}

4.2 负样本与拒绝回答 (Negative & Refusal)

这是减少幻觉（Hallucination）的关键。模型很容易学会“看图说话”，即忽略音频输入，仅凭文本上下文瞎编。

• 构造静音样本：输入一段全静音或极低信噪比的音频，询问“他在说什么？”
• 期望输出：“这段音频没有包含清晰的语音。”

• 错误输出：“你好，我也很高兴见到你...”（这是模型忽略音频，纯粹根据 LLM 概率补全的）。

• 构造跨模态负样本：

• 输入一段“狗叫”的音频，问“这段钢琴曲是什么调？”
• 期望输出：“这不是钢琴曲，这是一段狗叫声。”

Rule of Thumb (经验法则) 指令的多样性 (Diversity) >> 数量 (Quantity)。

• Bad: 10 万条 "Describe this audio." -> "Ideally..."
• Good: 5000 条包含 "Write a poem based on this sound", "Identify the gender of the speaker", "What time of day does this sound like?" 等多种问法的数据。 使用 GPT-4 来 Rewrite 你的 Prompt 模板，扩展出 50-100 种变体。

5. 音频生成模型训练特辑

生成（Generation）任务（TTS、MusicGen）与理解任务的训练逻辑有显著不同。

5.1 瓶颈在于 Codec

如果是基于离散 Token 的生成（如 VALL-E, MusicGen），第一步永远是训练或微调 Codec。

• 检查 Codec 的重构损失（Reconstruction Loss）。
• 检查 Codec 的频域损失（Multi-Scale Spectral Loss）。
• 重要：如果你的 Codec 在高频部分（Hi-Fi）表现差，生成模型训练得再好，出来的声音也是“闷”的。

5.2 Classifier-Free Guidance (CFG) 的训练技巧

为了在推理时能够控制生成的“相关性”，训练时需要做 Condition Dropout。

• 操作：在训练过程中，以 10%-20% 的概率，将 Conditioning（如文本提示、参考音频）替换为一个空的 Embedding（Null Token）。
• 目的：让模型学会无条件生成（Unconditional Generation）。
• 推理公式：

其中 是 Guidance Scale。 越大，生成结果越贴合 Prompt，但多样性降低。

5.3 长音频生成的滑窗策略

生成长音频（>30s）时，显存是瓶颈。

• 训练时：随机裁剪（Random Crop）出固定长度（如 10s 或 30s）进行训练。
• 推理时：使用滑动窗口，利用前一窗口的末尾作为当前窗口的 Prompt（Prompting the model with its own past generation），以保持连贯性。

6. 评测驱动迭代 (Evaluation-Driven Loop)

不要盲目训练。建立一个金丝雀（Canary）评测集。

6.1 嵌入式评测流水线

在训练脚本中，每隔 个 Step（例如 2000 steps），暂停训练，运行一次 Mini-Eval：

1. ASR 子集 (100条)：来自 LibriSpeech Test-Clean。指标：WER。 * 监控：确保语言理解能力没有崩溃。

2. Audio Captioning 子集 (50条)：来自 Clotho。指标：SPICE/CIDEr。 * 监控：确保环境音理解能力。

3. Instruction Following 子集 (50条)：人工编写的指令。指标：LLM-as-a-judge 打分。 * 监控：是否过拟合了短回复，失去了对话能力。

6.2 常见异常与对策

• 异常 1：ASR WER 突然飙升。
• 原因：SFT 数据中非语音数据（环境音）比例过高，导致模型遗忘了如何做逐字转录。

• 对策：调大 ASR 数据的混合温度 ，或在 SFT 中显式混入 10% 的纯 ASR 数据。

• 异常 2：生成重复 (Repetition)。

• 原因：数据中存在大量重复片段，或者 Padding 处理不当（模型学到了预测 Padding Token）。
• 对策：检查数据去重（Deduplication），引入 Repetition Penalty。

7. 本章小结

1. 配方胜过模型：一个经过精心温度采样（Temperature Sampling）的混合数据集，配合平庸的模型架构，通常能打败一个数据配方糟糕的顶级架构。
2. 分阶段训练：从大规模无监督预训练（学习物理特征），到多任务有监督训练（学习语义对齐），最后是指令微调（学习人类交互规范）。
3. 负样本至关重要：教会模型“不知道”和“不是”，与教会它“是什么”同样重要，这是迈向高可靠性的关键。
4. 评测左移：不要等到模型训完才发现错了。将 Benchmark 的微型子集嵌入训练循环，实时监控各项能力的消长。

8. 练习题

基础题

挑战题

9. 常见陷阱与错误 (Gotchas)

1. 错误的 VAD 切分 (Over-aggressive VAD)

• 陷阱：为了省显存，使用 VAD（语音活动检测）切除了所有静音，把句子拼得极紧凑。
• 后果：模型失去了对“停顿”和“节奏”的理解。在生成任务中，模型会像机关枪一样说话，没有呼吸感；在理解任务中，无法判断说话人的犹豫或思考。
• 修正：保留自然的静音间隔（如 0.5s - 1s）。

2. 采样率混用的灾难

• 陷阱：Encoder 预训练是 16kHz，SFT 数据混入了 44.1kHz 且未重采样，或者重采样算法太差（引入混叠）。
• 后果：模型听到的特征发生频移（Frequency Shift），导致音高识别错误，男声变女声，或产生高频噪声。
• 修正：在 DataLoader 层面加入强制断言（Assert），确保输入采样率绝对一致。

3. Whisper 的特殊 Token 污染

• 陷阱：使用 Whisper 作为 Encoder 时，没有去除其输出的 Special Tokens (如 <|startoftranscript|>, <|notimestamps|>) 就直接送入 LLM。
• 后果：LLM 会被这些无意义的 Token 干扰，导致指令遵循能力下降。
• 修正：仔细清洗 Encoder 的输出，只保留有效的 Embedding 或 Text Tokens。

4. 忽视了 "Audio Prompt" 的长度限制

• 陷阱：直接将 5 分钟的音频塞进一个只能处理 30 秒的 Encoder。
• 后果：要么报错，要么（更糟糕地）自动截断了后 4.5 分钟，导致模型回答基于不完整的信息，产生幻觉。
• 修正：实施 滑动窗口 (Sliding Window) 或 分层摘要 (Hierarchical Summarization) 策略。