第 24 章 评测方法与用户研究

开篇段落

如果说前面的章节是关于如何构建一个具身多模态对话系统的“骨架”与“血肉”，那么本章就是赋予它“灵魂”并检验其“品格”的科学与艺术。一个技术上完美的系统，若在真实世界中令人困惑、沮丧或不适，终究是失败的。本章旨在为您提供一个全方位的评测罗盘，指引您穿越从离线指标到用户心智模型的广阔海域。我们将构建一个从底层组件到顶层社会价值的评测金字塔，深入探讨每一层的核心指标、实施方法与解读之道。学习完本章，您将不仅能回答“系统能做什么？”，更能深刻洞察“系统应该做什么？”以及“用户感觉如何？”。这不仅是关于测量，更是关于理解、共情与迭代，是确保您的造物能被人类社会真正接纳的关键所在。

文字论述

评测具身AI系统如同为一位多才多艺的艺术家进行综合评估，既要考量其单项技艺（如绘画技巧、音乐节奏），也要评估其作品的整体感染力与观众的情感共鸣。因此，我们的评测框架必须是一个分层、互补的体系，从客观量化到主观洞察，层层递进。

24.1 自动指标：WER/DER/定位误差/延迟/接地率

自动指标构成了评测金字塔的基座。它们是系统健康状况的“生命体征监护仪”，可大规模、高频率地运行，是CI/CD流程中不可或缺的质量门禁。

语音与语言处理指标:

  • 词错误率 (Word Error Rate, WER): 这是衡量ASR转写精度的基石。 $$ \text{WER} = \frac{S + D + I}{N} = \frac{\text{Substitutions} + \text{Deletions} + \text{Insertions}}{\text{Number of words in Reference}} $$ 然而，对于现代对话系统，单纯的WER具有欺骗性。一个标点符号的错误可能导致LLM的JSON输出格式损坏，而“帮我找下钥匙”和“钥匙在哪”在语义上等价但WER为100%。因此，需要补充：

  • 实体错误率 (Entity Error Rate, EER): 专用于评估关键信息（如联系人姓名、设备名称、地址）的识别准确率。

  • 语义等价性评估: 使用预训练语言模型（如BERTScore）来评估转写结果与参考文本之间的语义相似度，弥补WER在同义词、句法变换上的不足。
  • 说话人分离错误率 (Diarization Error Rate, DER): 衡量系统在多人对话中“分清你我他”的能力。其构成包括：
  • 说话人错误 (Speaker Error): 将A的语音错误地标记为B。
  • 漏检语音 (Missed Speech): 存在语音但系统未检测到。
  • 虚警语音 (False Alarm Speech): 没有语音但系统错误地标记了某人说话。 DER对于实现流畅的多方交互至关重要，直接影响系统对指令归属的判断。

定位与建图 (SLAM) 指标:

  • 绝对轨迹误差 (Absolute Trajectory Error, ATE): 衡量估计轨迹与真实轨迹（通常由VICON、OptiTrack等高精度动作捕捉系统提供）的全局对齐程度。它反映了地图的整体一致性，对于需要长距离导航和全局重定位的任务尤其重要。
  • 相对位姿误差 (Relative Pose Error, RPE): 考察在固定时间或距离间隔内，位姿变化的精确度。它更能反映里程计的漂移情况，对于需要精确局部操作（如抓取）的任务至关重要。

交互延迟 (Latency) 分解: 延迟是用户体验的“隐形杀手”。端到端延迟必须被细粒度地分解和监控，形成“延迟预算”。

User:       |-- "Hey Robot" --|-- "find my phone" --|
Timeline: --T0----------------T1--------------------T2------------------T3-----------T4------------T5----------->
System:
            |<-Wake Word Lat.->|                    |
                               |<--ASR Latency----->|
                                                    |<--NLU/Policy Lat.->|
                                                                         |<--TTS Lat.->|
                                                                                      |<--Action Lat.->|

T0: Wake word speech starts
T1: Wake word detected, system activates (e.g., LED lights up)
T2: User command speech ends
T3: NLU/Policy module receives final ASR transcript and produces a decision
T4: TTS module generates the first audio chunk for verbal response
T5: Robot's base/manipulator starts moving for the physical action

Key Metrics:

- Wake-to-activation: T1 - T0
- End-of-speech-to-understanding: T3 - T2
- End-of-speech-to-verbal-response: T4 - T2
- End-of-speech-to-physical-action: T5 - T2

Rule-of-thumb: 对于流畅对话，End-of-speech-to-verbal-response (T4-T2) 应控制在800ms以内。对于需要物理交互的场景，用户对 End-of-speech-to-physical-action (T5-T2) 的容忍度稍高，但超过2-3秒会开始感到系统迟钝。

接地成功率 (Grounding Success Rate): 这是衡量具身智能“言行合一”能力的核心。

  • 指代接地 (Referential Grounding): 用户说“拿桌上那个红色的杯子”，系统需要完成一个复杂的感知-语言对齐链条：分割出所有物体 -> 识别杯子 -> 识别颜色属性 -> 结合空间关系“桌上” -> 唯一确定目标。评估时需要标注视野中所有物体的ID、属性和位置作为真值。
  • 动作接地 (Action Grounding): 评估更复杂，因为动作成功与否是过程性的。例如，“擦干净桌子”的成功不仅是执行了“擦”的动作，还要求桌子最终达到“干净”的状态，这往往需要人工评估或复杂的视觉验证模块。

24.2 任务成功率与路径最优性

如果说自动指标是“单元考”，任务成功率就是“综合测验”。它评估系统在真实、完整的用户场景中解决问题的能力。

任成功率 (Task Success Rate, TSR) 的分级定义: 二元的“成功/失败”定义过于粗糙。一个更精细的五级量表能提供更丰富的诊断信息：

  • 5 (完全成功): 系统独立、高效地完成任务，无需任何澄清或帮助。
  • 4 (瑕不掩瑜): 系统独立完成任务，但过程中有小的、不影响结果的瑕疵（如轻微导航绕路、不必要的重复确认）。
  • 3 (勉强成功): 系统最终完成任务，但需要用户多次澄清、重复指令或进行干预。
  • 2 (部分成功): 系统只完成了任务的一部分，或达成了错误的目标（如拿错了杯子）。
  • 1 (完全失败): 系统完全没有理解指令，或在执行过程中因技术故障（如定位丢失、抓取失败）而放弃。

效率与最优性 (Efficiency & Optimality):

  • 导航效率: 除了SPL，还可以引入导航平滑度 (Navigation Smoothness) 指标，如加速度和角速度的方差。一个路径最短但频繁加减速、转弯的机器人会给周围的人带来不安全感。
  • 对话效率: 澄清率 (Clarification Rate) 是一个双刃剑。高澄清率可能意味着NLU能力弱，但零澄清率也可能意味着系统过于自信，会在不确定的情况下鲁莽行动，导致代价高昂的物理错误。最优策略是在不确定性高时主动澄清。
  • 多模态效率: 衡量系统是否有效利用了多模态信息。例如，用户一边说“把那个给我”一边用手指着，系统是直接利用手势信息，还是愚蠢地反问“哪一个？”。

Rule-of-thumb: 设计任务场景时，务必遵循“MECE原则”（Mutually Exclusive, Collectively Exhaustive）。任务集应覆盖高频核心场景、长尾但关键的异常场景、以及专门用于压力测试的边界场景。

24.3 主观量表：SUS、RoSAS、NASA-TLX、信任度

主观量表是将用户模糊的“感觉”转化为可比较、可分析的数据的桥梁。它们是洞察用户心智模型的核磁共振成像”。

  • 系统可用性量表 (System Usability Scale, SUS): 是一个久经考验的、评估系统易用性的“快筛”工具。它的优点是简单、行业通用，可以方便地将你的系统与其它产品（如智能音箱、手机App）进行横向比较。
  • 机器人社会吸引力量表 (Robot Social Attractiveness Scale, RoSAS): 专为HRI设计，深入探究机器人的“人格魅力”。
    • 温暖 (Warmth): 评估机器人是否显得友好、善良、有同情心。通过亲切的语调、点头等肯定性身体语言来提升。
    • 能干 (Competence): 评估机器人是否显得智能、高效、可靠。由任务成功率和交互效率决定。
    • 不适感 (Discomfort): 评估机器人是否令人毛骨悚然或感到不安（即“恐怖谷”效应）。过度的拟人化、不自然的动作、侵犯个人空间等都会增加不适感。
  • NASA任务负荷指数 (NASA-TLX): 这是一个多维度的负荷评估工具，含心智需求、体力需求、时间需求、绩效、努力程度和挫折感六个维度。它能精确地告诉你，用户完成任务时究竟是“心累”还是“身累”，为优化交互流程提供精确指导。
  • 信任度量表 (Trust Scales): 信任是长期人机关系的基石。典型的信任量表会包含以下维度：
    • 可预测性 (Predictability): 机器人的行为是否符合我的预期？
    • 可靠性 (Reliability): 机器人完成任务的成功率有多高？
    • 能力范围透明度 (Capability Transparency): 我是否清楚地知道它能做什么，不能做什么？
    • 意图透明度 (Intent Transparency): 我是否理解它为什么这么做？

Rule-of-thumb: 在进行主观评测时，采用前后测 (Pre-test/Post-test) 设计。先让用户填写一份关于对机器人期望的问卷，体验后再填写一份实际感受的问卷。期望与现实的差距（Gap Analysis）往往能揭示最深刻的问题。

24.4 多人对话与社交评测协议

具身系统是社会性动物，必须在复杂的社交网络中生存。评测协议的设计本身就是一种对社交智能的建模。

结构化社交剧本 (Structured Social Scenarios): 一个好的剧本应包含：

  • 角色设定: 用户A（主人）、用户B（客人）、机器人C（助手）。
  • 情境: 主人和客人在客厅聊天，桌上有多种饮料和零食。
  • 关键测试点 (Key Test Points):
    1. 注意力分配: A和B交替说话，C的头部/凝视是否恰当地跟随主要说话人。
    2. 指令冲突: A说“给我一杯水”，同时B说“给我一罐可乐”。C如何响应？（例如：礼貌地表示一次只能服务一人，并询问优先级）。
    3. 社会礼仪: B打了喷嚏，C是否能做出恰当的反应（如说“保重”，或递上纸巾）。
    4. 指代消解: A对B说：“你尝尝这个饼干”，然后对C说：“也给他拿一个”。C能否理解两个“他”都指向B。
      +----------+
      |  User B  | ---- (Speech, Gaze) ----> +----------+
      | (Guest)  |                           |  User A  |
      +----------+ <------ (Gaze) ---------+ | (Host)   |
            ^                                +----------+
            | (Attention, Speech, Action)          ^

            | (Attention, Speech, Action)          ^
            |                                      |
      +-----------+                                |
      |   Robot   | -------------------------------

      +-----------+

社交评测指标:

  • 群体公平性 (Group Fairness): 在多次交互中，机器人是否给予了在场每个人大致均等的回应机会。
  • 打断处理策略评估: 评估机器人处理打断的优雅程度：是粗暴地中止当前任务，还是能礼貌地请求用户等待，或是在处理完打断后恢复原任务。

24.5 现场实验与 Wizard-of-Oz

实验室是无菌舱，真实世界是热带雨林。只有将系统置于真实环境中，才能发现那些环境、社会和文化因素交织而成的复杂问题。

“绿野仙踪”法 (Wizard-of-Oz, WoZ) 的高级应用: WoZ不仅是早期原型测试工具，更是强大的研究手段。

  • A/B 测试不同的人格: 让同一个“巫师”分别扮演一个“严肃高效”和一个“幽默风趣”的机器人人格，通过主观量表来评估用户对不同人格的偏好。
  • 探索AI的能力边界: 让“巫师”故意模拟一些AI常见的错误（如NLU误解、感知失败），观察用户如何反应和修复，从而为设计更鲁棒的错误恢复策略提供依据。
  • 技术实现: 现代WoZ系统通常是一个Web界面，左边实时显示机器人的第一视角视频、麦克风阵列拾音、SLAM地图等信息，右边是预设的回答模板和自由文本输入框，供“巫师”快速响应。

24.6 长期纵向研究与留存/流失分析

一次性的交互体验如同初次约会，而长期关系的好坏则需要时间来检验。纵向研究关注的是人机关系如何随时间演变。

  • 适应与习惯形成 (Adaptation & Habituation): 用户是否会调整自己的说话方式以更好地适应机器人？机器人是否能学习用户的偏好和习惯，形成个性化的互动模式？这些是纵-向研究的核心议题。
  • 关系阶段模型:
    1. 新奇期 (Novelty Phase): 交互频率高，用户充满探索欲，容忍度高。
    2. 失望期 (Disillusionment Phase): 新鲜感褪去，系统的局限性开始凸显，交互频率下降，流失风险最高。
    3. 整合期 (Integration Phase): 如果系统能度过失望期，用户会找到其核心价值，将其稳定地整合进日常生活或工作流中。
  • 数据驱动的洞察:
    • 日志分析: 通过分析长时间的交互日志，可以发现哪些功能被频繁使用，哪些被完全忽略。可以构建用户行为序列模型，预测流失风险。
    • 定期访谈/日记: 每隔一段时间（如每周、每月）用户进行深度访谈，或让他们记录使用日记，捕捉那些无法从日志中看出的态度和情感变化。

本章小结

本章系统地阐述了具身多模态对话系统的评测哲学与实践方法，构建了一个从底层技术到顶层价值的综合评估框架。

  • 评测哲学: 评测不是为了获得一个分数，而是为了驱动迭代。它是一个持续的、多维度的诊断过程，必须将客观的性能数据与主观的用户体验紧密结合。
  • 评测金字塔:
    • 基座 (自动指标): WER/DER, ATE/RPE, Latency, Grounding Rate。确保系统核心技术组件的健康与效率。
    • 中层 (任务级评估): 分级的TSR, 效率/最优性指标。衡量系统在真实场景中“把事办成”的能力。
    • 顶层 (体验级研究): SUS, RoSAS, NASA-TLX等主观量表。探究用户的感受、认知负荷与信任度。
    • 贯穿各层 (高级方法): 通过结构化的多人社交剧本、WoZ实验、场部署和长期纵向研究，探索系统的社会适应性与长期价值。
  • 核心洞察: 一个成功的具身AI，其评测体系本身就需要是“多模态”的——融合定量与定性、短期与长期、实验室与真实世界的数据，才能描绘出一幅完整的用户价值图景。

常见陷阱与错误 (Gotchas)

  1. “平均用户”陷阱 (The "Average User" Fallacy): 将所有用户数据汇总，得出一个平均满意度分数，这可能会掩盖严重的问题。例如，系统可能让80%的用户轻微满意，但让20%的特定人群（如老年人、儿童）完全无法使用。调试技巧: 进行用户分群分析（Segmentation），分别考察不同用户群体的核心指标。确保系统对关键用户群体的可用性。
  2. 实验室纯净环境偏见 (Sterile Lab Environment Bias): 在声学条件完美的实验室里，ASR的WER可能低于5%，但在充满回声、电视背景音的客厅里可能飙升到40%。调试技巧: 建立一个“真实世界噪音与干扰库”，在CI流程中持续用带噪数据对系统进行回归测试。在物理测试中，主动引入常见的干扰源（如播放音乐、人员走动）。
  3. 不设防的Wizard-of-Oz实验 (Unguarded WoZ Study): 巫师过于“聪明”，能理解一切模糊指令，导致设计师基于一个不切实际的“完美AI”来设计交互流程，这个设计在对接到真实AI模型后会立刻崩溃。调试技巧: 为巫师制定明确的“扮演规则”，例如：引入固定的响应延迟、限制其只能使用预设的知识库、在面对模糊指令时必须使用固定的澄清话术。
  4. 一次性评测的短视 (The Short-sightedness of One-shot Evaluation): 产品发布前进行了一次大规模用户测试，获得了极佳反馈。但发布后，用户新鲜感消失，发现系统缺乏长期价值，导致留存率断崖式下跌。调试技巧: 在产品路线图中，将长期纵向研究作为一等公民。布最小可行性产品（MVP）后，立即招募一小批种子用户进行长期跟踪，他们的反馈是指导后续迭代最宝贵的资源。
  5. 忽略失败的价值 (Ignoring the Value of Failure): 评测报告只关注任务成功率，而对失败案例的分析一笔带过。然而，失败的方式比成功本身更能揭示系统的深层次问题。调试技巧: 建立一个“失败案例博物馆”（Failure Museum）。对每一个失败的任务录屏和日志进行详细的根本原因分析（Root Cause Analysis），归类（如感知失败、理解失败、规划失败、执行失败），并将其转化为具体的工程任务。
  6. 同意的假象 (The Illusion of Consent): 在用户研究开始前，让用户快速勾选一个长篇大论的法律条款。用户实际上并未完全理解数据将如何被使用，尤其是在有视频录制的情况下。调试技巧: 设计“分层同意书”。第一层用大白话和图表演示核心信息（录什么存多久、谁能看）。第二层提供详细的法律文本。在实验过程中，当敏感数据（如正脸视频）将被采集时，通过机器人的语音或界面进行实时提醒。赋予用户随时查看、删除自己数据的权利。