data_manager

多模态大模型数据经理入门与实战教程

1. 多模态大模型与数据经理角色

1.1 为什么需要多模态大模型数据经理
1.2 多模态大模型简介：从单模态到跨模态
1.3 多模态据在大模型能力中的角色
1.4 数据经理的核心职责拆解
- 1.4.1 数据生命周期 Owner
- 1.4.2 进度与质量的项目管理者
- 1.4.3 合规与风险把关人
1.5 多模态数据团队典型角色与分工
- 1.5.1 算法 / 模型团队
- 1.5.2 数据采集与标注团队
- 1.5.3 数据分析（DA）与产品 / 业务
1.6 需要掌握的知识地图与能力模型
1.7 本教程整体结构与学习路径建议
1.8 本章习题与参考答案（折叠）

2. 多模态数据与标注规范基础

2.1 多模态数据类型概览
- 2.1.1 文本（对话、指令、文档、代码）
- 2.1.2 图像（自然场景、UI、文档扫描等）
- 2.1.3 视频（短视频、长视频、监控等）
- 2.1.4 音频与语音（语音识别、说话人识别等）
- 2.1.5 地理 / 街景 / 卫星图数据
2.2 常见数据格式与存储方式（JSON、Parquet、TSV、图像 / 视频编码）
2.3 元数据与标签体系：字段设计、必选 / 可选字段
2.4 标注类型与 Schema 设计
- 2.4.1 分类、回归、排序
- 2.4.2 检测、分割、关键点
- 2.4.3 文本生成、问答、对话、指令微调
- 2.4.4 多模态对齐标注（文本-图像、文本-视频、文本-音频）
2.5 标注规范文档（Guideline）的编写与版本管理
2.6 典型多模态任务与数据需求举例
2.7 数据字典与字段说明书的组织与维护
2.8 本章习题与参考答案（折叠）

3. 数据生命周期与项目流程总览

3.1 从业务需求到数据需求：如何做需求澄清
3.2 数据生命周期全景
- 3.2.1 获取（Acquisition）
- 3.2.2 大规模清洗（Cleaning）
- 3.2.3 使用（Usage：训练 / 评估 / 上线）
- 3.2.4 版本控制（Versioning）
- 3.2.5 备份与冷存档（Backup & Archiving）
3.3 数据项目从 PoC 到规模化的阶段划分
3.4 生命周期中的关键里程碑与交付物（方案、样本、报告）
3.5 风险与合规检查点设计（各阶段应该查什么）
3.6 数据 RACI：谁负责、谁参与、谁知情
3.7 生命周期示例流程图与落地建议
3.8 本章习题与参考答案（折叠）

4. 数据获取总览与策略

4.1 数据来源矩阵：公开、半公开、商业、众包、自采
4.2 多模态数据需求拆解：规模、分布、场景、质量
4.3 样本量 vs 多样性 vs 成本：三角平衡
4.4 抓取范围与采样策略
- 4.4.1 按国家 / 语言 / 地区
- 4.4.2 按场景 / 任务类型
- 4.4.3 长尾与冷门场景覆盖
4.5 数据获取 KPI 设计（覆盖率、重复率、合规率等）
4.6 获取阶段的隐私与版权风险识别
4.7 调研与方案评审：如何让算法 / 法务参与进来
4.8 本章习题与参考答案（折叠）

5. 公开互联网与开源数据集获取

5.1 开源数据平台总览
- 5.1.1 HuggingFace Datasets
- 5.1.2 GitHub 代码与 Issue / PR 评论数据
- 5.1.3 OpenSLR 等语音数据源
- 5.1.4 Kaggle 等竞赛 / 开源数据仓库
5.2 文本与指令数据集选择与组合策略
5.3 图像数据集的特点与应用（COCO、ImageNet、LAION 等）
5.4 视频 / 音频网站数据
- 5.4.1 YouTube 等视频网站的采集模式与边界
- 5.4.2 播客、音乐、语音数据源
5.5 图像素材网站
- 5.5.1 Pexels.com 的特点与适用场景
- 5.5.2 类似素材站点对比与选型要点
5.6 社交媒体数据
- 5.6.1 Instagram 等平台内容特点
- 5.6.2 采样策略与合规风险
5.7 地理 / 街景 / 卫星图数据
- 5.7.1 Google / Baidu / Tencent Street View
- 5.7.2 卫星图片数据源与分辨率、频次要求
5.8 开源数据集 License 解读
- 5.8.1 常见 License 类型对大模型训练的影响
- 5.8.2 使用记录与合规归档实践
5.9 公开数据集的落地管理：下载、校验、整理、登记
5.10 本章习题与参考答案（折叠）

6. 爬虫工程与大规模抓取践

6.1 爬虫基础概念与架构
- 6.1.1 单机爬虫 vs 分布式爬虫
- 6.1.2 任务调度、队列与 Worker
6.2 抓取方式
- 6.2.1 HTTP 抓取与 API 调用
- 6.2.2 动态页面渲染（Headless 浏览器等）
6.3 反爬虫与合规友好策略
- 6.3.1 robots.txt、访问频控、User-Agent
- 6.3.2 不当抓取风险与避险原则
6.4 URL 发现与链接遍历策略
6.5 内容去重与指纹（hash、simhash 等）设计
6.6 抓取数据结构设计：原始内容 + 元数据（时间、来源、URL 等）
6.7 爬虫监控与报警：成功率、延迟、数据量趋势
6.8 抓取日志、审计与可追溯性
6.9 本章习题与参考答案（折叠）

7. 线下数据供应商与商业数据采购

7.1 线下数据供应商分类
- 7.1.1 采集型供应商
- 7.1.2 标注型供应商
- 7.1.3 成品数据供应商
7.2 如何撰写数据采购需求书（RFP）
7.3 询价、比价与商务谈判要点
7.4 供商评估维度
- 7.4.1 数据质量与稳定性
- 7.4.2 交付速度与弹性产能
- 7.4.3 安全、合规与保密能力
7.5 验收流程与质量抽检策略
7.6 与法务、采购协同：合同条款与使用范围（含再授权）
7.7 商业数据与自建数据的策略组合
7.8 本章习题与参考答案（折叠）

8. 众包 / 外包平台与人力运营（含猪八戒等）

8.1 众包 vs 专职外包团队：优劣势分析
8.2 猪八戒等人力外包平台使用流程
- 8.2.1 发布需求与任务拆解
- 8.2.2 选择服务商与试单
- 8.2.3 验收与结算
8.3 标注任务拆解与计价
- 8.3.1 按条、按小时、按难度定价
- 8.3.2 产能与预算预估
8.4 质量控制机制
- 8.4.1 金标题、双标、多标与裁决
- 8.4.2 随机抽检与系统抽检
8.5 防止作弊与数据泄露
- 8.5.1 防刷策略与异常检测
- 8.5.2 NDA 与访问控制
8.6 众包运营看板：产量、合格率、人员留
8.7 与算法 / 产品协同优化标注说明书
8.8 本章习题与参考答案（折叠）

9. 大规模数据清洗与预处理

9.1 原始数据接入与规范化
- 9.1.1 目录结构与命名规范
- 9.1.2 Schema 设计与字段校验
9.2 文本清洗
- 9.2.1 编码与乱码问题
- 9.2.2 HTML / 脚本 / 广告去除
- 9.2.3 敏感内容识别与脱敏
9.3 图像 / 视频 / 音频预处理
- 9.3.1 图像尺寸、质量、格式转换
- 9.3.2 视频切片、帧抽取、封面图
- 9.3.3 音频采样率、声道统一
9.4 去重与近重复样本控制（Exact / Near Duplicate）
9.5 噪声与低质量样本识别（规则 + 模型打分）
9.6 多模态对齐检查
- 9.6.1 文本-图像语义一致性
- 9.6.2 视频-字幕时间对齐
9.7 清洗 Pipeline 的实现与调度
9.8 清洗日志与数据血缘（Lineage）记录
9.9 本章习题与参考答案（折叠）

10. 数据使用：构建训练 / 评估数据集与馈闭环

10.1 数据集拆分原则
- 10.1.1 训练 / 验证 / 测试 / 对齐集
- 10.1.2 防止数据泄漏与信息穿透
10.2 指令微调数据设计
- 10.2.1 任务覆盖矩阵
- 10.2.2 难度分层与提示工程
10.3 安全与对齐数据
- 10.3.1 红队对抗样本
- 10.3.2 守则与拒答样本
10.4 评测数据集设计
- 10.4.1 指标（Accuracy、BLEU、F1、偏差指标等）
- 10.4.2 多模态特定指标（如 Caption 质量、理解能力）
10.5 在线反馈数据：采样、清洗与再利用
10.6 数据偏差与公平性分析
- 10.6.1 人群 / 地区 / 语言分布
- 10.6.2 偏差监控与治理策略
10.7 小规模实验验证数据方案的效果
10.8 本章习题与参考答案（折叠）

11. 数据版本控制、备份与冷存档

11.1 数据集版本命名规范（含 SemVer 思想的应用）
11.2 数据与代码的版本协同管理
- 11.2.1 Git + DVC / LakeFS 等思路概览
- 11.2.2 元数据与 Manifest 文件
11.3 数据变更流程：提交、评审、合入与回滚
11.4 存储分层策略
- 11.4.1 在线存储、近线存储、冷存储
- 11.4.2 不同层级的数据访问模式
11.5 备份策略设计
- 11.5.1 全量 / 增量备份
- 11.5.2 RPO / RTO 指标与演练
11.6 冷存档方案与成本控制
- 11.6.1 对象存储、磁带等介质对比
- 11.6.2 存取策略与检索延迟
11.7 数据保留与删除策略（含「被遗忘权」等合规要求）
11.8 数据 Catalog 与索引：让别人知道有什么数据、在哪里
11.9 本章习题与参考答案（折叠）

12. 数据质量评估、监控与治理

12.1 数据质量的核心维度
- 12.1.1 完整性、一致性、准确性
- 12.1.2 时效性、可用性、安全性
12.2 质量指标（DQM）体系设计与阈值设置
12.3 自动化数据质检
- 12.3.1 规则引擎
- 12.3.2 模型辅助检测
12.4 数据问题管理流程
- 12.4.1 问题工单与优先级
- 12.4.2 根因分析与行动项
12.5 数据治理框架（Data Governance）
- 12.5.1 权限管理与数据分级分类
- 12.5.2 审计、留痕与报表
12.6 安全与隐私保护
- 12.6.1 PII 识别与脱敏
- 12.6.2 最小权限原则与访问审批
12.7 技术债与历史遗留数据的治理策略
12.8 本章习题与参考答案（折叠）

13. 工具链与飞书多维表格数据进度管理

13.1 多模态数据项目常见工具链概览
- 13.1.1 流水线 / 调度平台
- 13.1.2 存储与计算平台
- 13.1.3 项目管理与协作工具
13.2 飞书多维表格基础
- 13.2.1 字段类型（单选、多选、关联、公式等）
- 13.2.2 多视图（表格、看板、日历、数据透视）
13.3 用多维表格搭建「数据资产台账」
- 13.3.1 数据集基本信息字段
- 13.3.2 生命周期与状态字段
13.4 数据进度管理设计
- 13.4.1 每日新增量记录（按模态 / 来源 / 供应）
- 13.4.2 任务状态（未开始 / 进行中 / 已完成 / 阻塞）
- 13.4.3 责任人与截止时间
13.5 飞书 Dashboard 实战
- 13.5.1 每日 / 每周新增趋势图
- 13.5.2 按来源 / 模态 / 供应商的钻取分析（洞察穿透）
- 13.5.3 发现卡住任务：超期、0 产出、异常波动
13.6 用多维表格驱动例会：筛选视图与讨论视图
13.7 飞书与其他系统的集成思路（API / 机器人 / 自动化）
13.8 本章习题与参考答案（折叠）

14. 团队协作、会议组织与沟通

14.1 利益相关方（Stakeholder）地图
- 14.1.1 算法团队
- 14.1.2 数据采集 / 标注团队
- 14.1.3 DA / BI 团队
- 14.1.4 产品 / 业务团队
14.2 会议类型与节奏设计
- 14.2.1 立项会
- 14.2.2 周会与进度例会
- 14.2.3 质量评审会与复盘会
14.3 与算法团队的协作模式
- 14.3.1 需求澄清与数据方案评审
- 14.3.2 模型反馈与错误分析闭环
14.4 与数据采集团队的协作
- 14.4.1 任务下发与产能管理
- 14.4.2 问题反馈与规范更新
14.5 与 DA 的协作
- 14.5.1 指标定义与数据口径统一
- 14.5.2 报表设计与数据洞察
14.6 会议议程模板与纪要模板（可复制示例）
14.7 处理冲突与认知差异的实用技巧
14.8 本章习题与参考答案（折叠）

15. 综合案例与实战项目

15.1 案例一：从 0 到 1 搭建多模态街景识别数据体系
15.2 案例二：指令微调数据从众包到在线迭代
15.3 案例三：历史数据仓治理与冷存档方案设计
15.4 综合练习：设计一套多模态数据方案
- 15.4.1 需求说明
- 15.4.2 读者自己的方案
- 15.4.3 参考答案与点评（折叠）
15.5 常见踩坑场景与复盘模板
15.6 本章习题与参考答案（折叠）

16. 职业发展与学习路径

16.1 多模态数据经理的能力雷达
16.2 入门 → 进阶 → 专家的习路线
16.3 与其他岗位的职业迁移
- 16.3.1 向数据工程 / 平台方向发展
- 16.3.2 向产品 / 项目管理方向发展
- 16.3.3 向算法 / 研究方向发展
16.4 日常学习渠道推荐（论文、博客、社区等）
16.5 个人品牌与内部影响力建设
16.6 结语与后续可扩展话题
16.7 本章习题与参考答案（折叠）