第 6 章：情感、对话与社会信号 (SER / 多模态对话)

1. 开篇段落

在音频理解的谱系中，如果说 ASR（语音识别）解决的是“听清内容”的问题，那么 SER（语音情感识别） 和 ERC（对话情感识别） 解决的则是“听懂态度”的问题。这是人机交互（HCI）向“高情商”进化的关键一步。

本章不仅涵盖经典的数据集（如 IEMOCAP），还将重点放在更复杂的对话交互场景（如 MELD）。我们将探讨如何处理情感的主观性、如何在多轮对话中建模上下文依赖，以及在多模态（音频+文本+视觉）融合中，如何避免音频信号被文本语义“淹没”的常见困境。

本章学习目标：

  1. 数据集图谱：深入理解 IEMOCAP, MELD, CREMA-D, MSP-Podcast 等核心数据集的特性与适用场景。
  2. 标注体系：掌握离散分类（Categorical）与维度情感（Dimensional, Valence-Arousal）的本质区别及转换关系。
  3. 评测协议：彻底搞懂为什么 Accuracy 是“骗人”的，以及 WA (Weighted Accuracy) 与 UA (Unweighted Accuracy) 的计算逻辑。
  4. 建模难点：学习处理 Speaker Overlap（说话人重叠）泄漏问题，以及对话中的 Context Modeling（上下文建模）。

2. 核心内容论述

6.1 情感任务的双璧：SER vs. ERC

在开始接触数据之前，必须区分两个子任务，因为它们的数据组织形式完全不同。

| 维度 | SER (Speech Emotion Recognition) | ERC (Emotion Recognition in Conversation) |

维度 SER (Speech Emotion Recognition) ERC (Emotion Recognition in Conversation)
定义 单句情感识别。输入一段孤立音频，判断情感。 对话情感识别。输入一连串对话，判断每一句的情感。
核心难点 声学特征提取、噪声鲁棒性、说话人泛化。 上下文依赖、说话人交互、状态转移。
典型数据 IEMOCAP (部分), CREMA-D, RAVDESS, TESS. MELD, IEMOCAP (全量), EmoryNLP, DailyDialog.
关键输入 (当前语音) (当前), (历史上下文)

6.2 经典情感语音数据集详解

2.1 IEMOCAP：这一行的“黄金标准”与“阿喀琉斯之踵”

IEMOCAP (Interactive Emotional Dyadic Motion Capture Database) 尽管发布于 2008 年，至今仍是论文中最常对比的基准。

  • 数据构成：5 个 Session，每个 Session 由一男一女两名演员完成。共 10 名说话人。
  • 采集方式：
  • Scripted (念稿)：语义固定，情感表达受台词限制。

  • Improvised (即兴)：语义更自然，更能反映真实情感触发。

  • 标注体系：

  • Categorical: Angry, Happy, Sad, Neutral, Frustrated, Excited, Fear, Surprise, Disgust. (注：很多论文为了刷榜，会合并 Happy 和 Excited，删除 Frustrated，只保留 4 类，阅读论文时务必看清协议)。
  • Dimensional: Valence (1-5), Arousal (1-5), Dominance (1-5)。

Rule-of-Thumb (经验法则)：在 IEMOCAP 上，Leave-One-Session-Out (LOSO) 是唯一合法的划分方式。即训练用 Session 1-4，测试用 Session 5。如果你看到某篇论文使用 Random Split（随机打乱划分），其结果往往虚高且不可信（因声纹泄漏）。

2.2 MELD：从情景喜剧中走出的多模态挑战

MELD 源自电视剧《老友记》(Friends)。

  • 特点：真实场景（非演播室）、背景噪声极大（含罐头笑声）、对话长度极短。
  • 多模态陷阱：MELD 是典型的文本主导（Text-Dominant）数据集。仅使用 BERT 处理文本，准确率可能达到 65%；加上音频可能只提升 1-2%。
  • 音频的作用：音频主要用于消歧（例如区分“真心的棒极了”和“讽刺的棒极了”）以及识别高唤醒度（High Arousal）的情感。

2.3 其他重要数据集

  • CREMA-D: 91名演员录制，适合测试说话人泛化性。
  • MSP-Podcast: 采集自真实播客，规模大、自然度高，是目前向工业界靠拢的首选数据集。
  • RAVDESS: 只有两句台词，通过不同的演法表现情感。表演痕迹极重，适合做基础声学分析，不适合做落地模型。

6.3 情感建模空间：离散 vs. 维度

情感不仅仅是标签，它是心理状态的连续统。

[图解] Valence-Arousal 环形模型 (Circumplex Model)

                 High Arousal (激动/强能量)
                        ^
                        |
      (Angry/Fear)      |      (Excited/Happy)
           Q2           |           Q1
    <-------------------+-------------------> High Valence
  Negative (负面/不悦)  |      Positive (正面/愉悦)
                        |
       (Sad/Bored)      |    (Relaxed/Calm)
           Q3           |           Q4
                        v
                 Low Arousal (平静/弱能量)
  • Valence (效价)：从消极到积极。音频通常很难提取 Valence（比如“笑着说狠话”），文本对 Valence 贡献更大。
  • Arousal (唤醒度)：从昏昏欲睡到极度兴奋。音频特征（音高、能量、语速）对 Arousal 具有极强的预测力。

6.4 评测指标与协议：拒绝 Accuracy

由于情感数据的类别极端不平衡（Neutral 通常占 40-60%），Standard Accuracy 毫无意义。

核心公式

假设有 个类别， 为第 类的样本总数， 为第 类预测正确的数量。

  1. WA (Weighted Accuracy):
  • 含义：也就是普通的 Accuracy。如果模型只把大类预测对，WA 依然很高。
  1. UA (Unweighted Accuracy) / Macro-Recall:
  • 含义：每一类召回率的平均值。这是最重要的指标。它强迫模型关注少数类（如 Fear, Disgust）。

Rule-of-Thumb：如果你的模型 WA 很高（80%），但 UA 很低（40%），说明模型发生了严重的大类偏置（Majority Class Bias），在实际应用中通常是不可用的。

6.5 对话结构建模 (Context Modeling)

在 ERC 任务中，判断一句话的情感不能只听这一句。

  • 自我影响 (Self-Dependency): 说话人自己的情绪惯性。
  • 人际影响 (Inter-Speaker Dependency): 对方的情绪如何触发我的反应（情绪传染）。

常用工程手段：

  1. Sliding Window: 输入 来预测 。
  2. Speaker Masking: 在模型输入中加入 Speaker ID Embedding，告诉模型哪几句话是同一个人说的。

3. 本章小结

  1. 任务二分：明确你的任务是单句分类 (SER) 还是多轮对话 (ERC)，前者看重声学特征，后者看重上下文流转。
  2. 数据选择：学术刷榜用 IEMOCAP (LOSO协议)，多模态研究用 MELD，工业级泛化测试用 MSP-Podcast。
  3. 指标铁律：永远同时报告 WA 和 UA。只报 Accuracy 的情感模型报告是不合格的。
  4. 维度视角：除了分类，尝试预测 Valence/Arousal，这在业务场景（如监控客户愤怒等级）通常比单纯的标签更有用。

4. 练习题

基础题 (熟悉材料)

Q1: 某同学使用 IEMOCAP 数据集训练模型，将所有 10000 条语音打乱，随机抽取 8000 条训练，2000 条测试，得到了 85% 的准确率。请问这个结果可信吗？为什么？

答案： 不可信，结果虚高。 IEMOCAP 只有 10 个说话人。随机打乱会导致同一个人的声音同时出现在训练集和测试集中。模型会退化为“说话人识别”模型（记住特定的声纹特征对应特定的标签分布），而不是学习通用的情感声学特征。 正确做法：必须使用 LOSO (Leave-One-Session-Out) 或 Leave-One-Speaker-Out。

Q2: 在 Valence-Arousal 坐标系中，“愤怒 (Angry)” 和 “恐惧 (Fear)” 均属于 Negative Valence 和 High Arousal。仅凭这两个维度很难区分它们，通常需要什么额外特征？

答案： 它们在 V-A 空间确实高度重叠。区分它们通常需要：

  1. Dominance (支配度) 维度：Angry 通常伴随高支配度 (High Dominance)，而 Fear 伴随低支配度 (Low Dominance/Submissive)。
  2. 语义内容 (Text)：音频很难区分惊恐的尖叫和愤怒的尖叫，但文本内容通常能揭示原因。
Q3: 为什么在 MELD 数据集中，Text 模态的效果往往远好于 Audio 模态？

答案：

  1. 数据源特性：情景喜剧是高度依赖台词推进剧情的，语义本身包含了大部分情感信息。
  2. 音频质量：MELD 包含大量背景音（笑声、音乐、环境噪），且不同片段录音环境差异大（室内、室外），导致声学特征提取困难。
  3. 情感类型：某些情感（如 Sentiment 类的 Positive/Negative）在文本中显式存在，而语音语调可能比较平淡。

挑战题 (开放性思考)

Q4: 设计一个 Loss Function 策略，解决情感数据集类别极端不平衡的问题（例如 Neutral 占 60%，Angry 占 5%）。

Hint: 思考 Class Weighting, Focal Loss, 和 Sampling 策略。

答案： 可以组合以下策略：

  1. Weighted Cross Entropy Loss:

其中 是类别权重的倒数（样本越少，权重越大）。

  1. Focal Loss: 降低易分类样本（通常是 Neutral）的权重，强迫模型关注难分类样本。

  2. Class-Balanced Sampling: 在每个 Batch 中，强制按均匀分布采样各类样本，而不是随机采样。

Q5: 在多模态情感识别中，经常出现“模态缺失”的情况（例如：电话录音没有视频，或者环境太吵只有文本）。如何设计模型以具备“缺失鲁棒性”？

Hint: 思考 Dropout 变体或生成式方法。

答案：

  1. Modality Dropout: 在训练时，随机将某一模态的特征向量置零（Masking），迫使模型在只有单模态时也能工作。 * 例如：20% 概率只有 Audio，20% 只有 Text，60% 两者都有。

  2. 联合嵌入空间 (Joint Embedding): 训练模型将不同模态映射到同一个共享语义空间，使得即便一种模态缺失，另一种模态的投影也能落在相似位置。

  3. 模态补全 (Imputation): 使用生成模型根据现有模态“脑补”缺失模态的特征（较复杂，推理成本高）。
Q6: (场景题) 你正在为一个跨国呼叫中心开发愤怒检测系统。你的训练数据全是美国英语（IEMOCAP/MELD），但系统将用于印度英语和新加坡英语用户。请预测可能出现的问题，并提出低成本的缓解方案。

Hint: 韵律差异、表达习惯、Domain Adaptation。

答案：

  • 问题： 1. 误报 (False Positive)：某些语言或口音（如印式英语）的自然语调起伏较大或语速较快，可能被美式英语模型误判为 "Angry" 或 "Excited"。 2. 漏报 (False Negative)：某些文化表达愤怒比较含蓄（阴阳怪气），模型可能识别为 "Neutral"。

  • 低成本方案： 1. 无监督域适应 (Unsupervised Domain Adaptation, UDA)：利用大量的无标签目标域（印度/新加坡）音频，通过对抗训练（Adversarial Training）对齐特征分布。 2. Few-shot Calibration: 收集极少量（如 50 条）目标域的标注数据，仅微调模型的最后一层分类器（Linear Probing）。 3. 输入归一化: 对音频特征（如 Pitch, Energy）进行 Speaker-level 的 Z-score 归一化，消除基础语调差异。

Q7: 如何利用对比学习 (Contrastive Learning) 来提升情感表征的质量？

答案： 构建正负样本对：

  • 正样本对 (Positive Pairs):
  • 同一句话的 Audio 和 Text。
  • 同一句话经过不同数据增强（加噪、变速）后的 Audio。

  • (监督式) 不同说话人但情感标签相同的句子。

  • 负样本对 (Negative Pairs):

  • 同一句话但情感标签不同的样本（Hard Negatives）。

  • Batch 内的其他随机样本。

  • 目标：拉近正样本对在特征空间的距离，推远负样本对。这能让模型学习到更本质的情感特征，而非噪声。

5. 常见陷阱与错误 (Gotchas)

1. 标签的主观性 (Label Ambiguity)

  • 陷阱：认为 Ground Truth 是绝对真理。
  • 现实：情感标注通常由 3-5 人投票决定。如果 2 人投 Angry，3 人投 Neutral，标签定为 Neutral，但其实该样本包含显著的 Angry 特征。
  • 应对：
  • 使用 Soft Labels（例如：[0.4 Angry, 0.6 Neutral]）进行训练，而不是 One-hot。
  • 在误差分析时，重点检查那些标注一致性低的样本，模型分错可能不是模型的锅。

2. 混淆 Valence 和 Sentiment

  • 陷阱：将情感分析（Sentiment Analysis, Pos/Neg）等同于情感识别（Emotion Recognition）。
  • 区别：
  • "I hate you!" -> Sentiment: Negative, Emotion: Angry.
  • "I am so sad." -> Sentiment: Negative, Emotion: Sad.
  • Sentiment 分类器无法区分 Angry 和 Sad，但在交互中这两者应对策略完全不同（安抚 vs. 鼓励）。

3. 过度依赖声学特征工程 (Over-engineering)

  • 陷阱：花大量时间提取 eGeMAPS, IS09 等传统手工特征。
  • 现状：在大数据时代，使用预训练模型（如 Wav2Vec 2.0, HuBERT）提取的 Embedding 通常全面碾压手工特征。
  • 建议：除非算力受限（端侧设备），否则优先使用 SSL (Self-Supervised Learning) 模型作为特征提取器。

4. 忽略静音段 (Silence)

  • 陷阱：直接将整段对话输入模型，包含大量静音。
  • 问题：静音段也是有情感含义的（犹豫、震惊），但过多的静音会稀释 Mean Pooling 后的特征向量。
  • 建议：使用 VAD (Voice Activity Detection) 切分，但保留静音的时长作为一个显式特征（Duration Feature）。

5. 跨语种直接迁移

  • 陷阱：用英语数据训练，直接测中文数据。
  • Gotcha：虽然人类的情感声学特征（大喊大叫）有共性，但细微情感（冷漠、阴郁）与语言韵律强绑定。直接迁移的效果通常只有 Chance Level 略高一点。必须进行 Fine-tuning。