第4章：模型逆向与信息提取

学习目标

本章深入探讨针对大语言模型的逆向工程技术和信息提取攻击。我们将学习如何从黑盒或灰盒模型中提取训练数据、推断架构细节、窃取模型参数，以及识别特定样本是否参与了训练。这些技术不仅揭示了LLM的隐私风险，也为设计更安全的模型提供了理论基础。通过本章学习，读者将掌握模型逆向的核心技术，理解信息泄露的数学原理，并能够评估和缓解相关风险。

1. 训练数据提取攻击

1.1 记忆化现象的本质

大语言模型在训练过程中会"记忆"部分训练数据，这种现象源于过参数化和重复训练。当模型容量远大于训练数据的信息熵时，模型倾向于直接存储而非泛化某些模式。这种记忆化并非偶然，而是深度学习优化过程的必然结果。

1.1.1 记忆化的数学本质

从优化理论角度，训练损失可分解为： $$\mathcal{L}_{\text{train}} = \mathcal{L}_{\text{pattern}} + \mathcal{L}_{\text{memorize}}$$ 其中$\mathcal{L}_{\text{pattern}}$代表模型学习到的可泛化模式，$\mathcal{L}_{\text{memorize}}$代表直接记忆的部分。当样本出现频率低于某个阈值$f_{\text{critical}}$时，优化器倾向于通过记忆而非泛化来降低损失。

记忆化程度可以用以下指标量化： $$M(x) = \log P_{\theta}(x) - \log P_{\text{ref}}(x)$$ 其中$P_{\theta}(x)$是目标模型对序列$x$的概率，$P_{\text{ref}}(x)$是参考模型（如未见过$x$的模型）的概率。$M(x) > \tau$表明$x$可能被记忆。

1.1.2 记忆化的层次结构

记忆化在模型中呈现层次化分布：

表层记忆（前几层）：词汇、短语级别
    ↓
中层记忆（中间层）：句法结构、常见模式
    ↓
深层记忆（后几层）：语义关联、长文本片段
    ↓
输出层：完整序列的逐字复现

研究表明，不同类型的信息在不同层次被编码：

• Embedding层：存储词汇和子词信息
• 前期Transformer层（1-6层）：捕获局部依赖和语法
• 中期层（7-18层）：编码语义和主题信息
• 后期层（19-24层）：整合全局信息，形成完整记忆

1.1.3 记忆化的触发条件

模型记忆化的触发遵循特定规律：

1. 频率反比定律： $$P(\text{memorize}) \propto \frac{1}{f(x)^{\alpha}}$$ 其中$f(x)$是训练数据中$x$的出现频率，$\alpha \approx 0.7-1.2$

2. 长度效应： $$P(\text{memorize}) = 1 - e^{-\lambda \cdot |x|}$$ 较长的独特序列更容易被完整记忆

3. 重复暴露效应： 每次epoch的记忆增强：$M_{t+1} = M_t + \eta(1 - M_t)$

训练数据 --重复暴露--> 模型参数 --梯度下降--> 记忆化
    |                      |                    |
    v                      v                    v
[原始文本]           [权重矩阵]          [可提取模式]
    |                      |                    |
    └──────────────────────┴────────────────────┘
              记忆化反馈循环

1.2 提取攻击的技术路径

1.2.1 前缀引导攻击

前缀引导是最直观但也最有效的提取方法。攻击者通过提供训练数据的部分前缀，诱导模型补全剩余部分。这种攻击利用了自回归模型的基本特性：给定上文预测下文。

基础攻击流程：

# 攻击示例（伪代码）
prefix = "My social security number is "
completion = model.generate(prefix, max_tokens=20, temperature=0.1)
# 可能输出: "123-45-6789" （真实训练数据）

成功率影响因素：

1. 前缀独特性评分： $$U(p) = -\log P(p) \cdot \frac{1}{|V(p)|}$$ 其中$P(p)$是前缀概率，$V(p)$是可能的续写集合大小

2. 温度参数影响： $$P(x_i|x_{<i}, T) = \frac{\exp(z_i/T)}{\sum_j \exp(z_j/T)}$$ 低温度$T \rightarrow 0$时，分布趋向确定性，更容易复现记忆

3. 模型规模效应： 实验表明提取成功率$S$与模型参数量$N$的关系： $$S \propto N^{0.4} \cdot \log(D/N)$$ 其中$D$是训练数据量

高级前缀构造技术：

阶段1: 识别高价值前缀模式

  - 分析公开数据中的PII模式
  - 识别独特但合理的前缀

阶段2: 前缀变体生成

  - 同义词替换："SSN:" vs "社保号:" 
  - 格式变化："My SSN" vs "SSN of mine"

阶段3: 上下文增强

  - 添加相关上下文提高命中率
  - 示例："John Doe, born 1990, SSN:"

1.2.2 模板填充攻击

模板填充攻击系统性地利用训练数据中的结构化模式。这种方法特别有效于提取遵循固定格式的信息。

常见攻击模板：

个人信息模板：
  [姓名] 的身份证号是 [18位号码]
  [姓名] 的电话号码是 [11位号码]
  Email: [用户名]@[域名]

技术信息模板：
  API密钥: [32位字符串]
  数据库连接: mysql://[用户]:[密码]@[主机]
  私钥: -----BEGIN RSA PRIVATE KEY-----

智能枚举策略：

1. 频率引导枚举： 优先尝试高频姓名、公司名等 $$\text{Priority}(e) = f(e) \cdot I(e)$$ 其中$f(e)$是实体频率，$I(e)$是信息价值

2. 关联性扩展：

初始命中: "张三的电话是13912345678"
扩展查询: "张三的邮箱", "张三的地址", "张三的身份证"

3. 交叉验证： 通过多个模板交叉验证提取信息的真实性

1.2.3 梯度引导提取

对于白盒或灰盒访问场景，梯度信息提供了强大的引导信号。

基础梯度上升： $$x_{t+1} = x_t + \alpha \nabla_x \log P_{\theta}(x_t|c)$$ 改进的梯度引导算法：

1. 动量加速： $$v_{t+1} = \beta v_t + (1-\beta) \nabla_x \log P_{\theta}(x_t|c)$$ $$x_{t+1} = x_t + \alpha v_{t+1}$$

2. 自适应学习率： $$\alpha_t = \alpha_0 \cdot \frac{1}{\sqrt{t + \epsilon}}$$

3. 投影梯度法： 确保生成的token在有效词汇表内 $$x_{t+1} = \Pi_{\mathcal{V}}[x_t + \alpha \nabla]$$ 混合离散-连续优化：

由于文本的离散性，需要特殊处理：

# 伪代码
def gradient_guided_extraction(model, context, steps=100):
    # 初始化为连续嵌入
    x = random_embedding()

    for t in range(steps):
        # 连续空间梯度上升
        grad = compute_gradient(model, x, context)
        x = x + learning_rate * grad

        # 投影到最近的离散token
        if t % project_interval == 0:
            x = project_to_nearest_token(x)

    return decode_tokens(x)

1.2.4 组合攻击策略

实践中，组合多种技术可显著提高成功率：

第1步：模板探测
  使用通用模板识别模型的记忆模式
  ↓
第2步：前缀细化
  基于模板响应，构造更精确的前缀
  ↓
第3步：梯度优化
  使用梯度信息微调提取查询
  ↓
第4步：批量验证
  通过多个变体验证提取信息

攻击编排示例：

def orchestrated_extraction_attack(model, target_pattern):
    # 阶段1: 模板探测
    templates = generate_templates(target_pattern)
    responses = [model.query(t) for t in templates]

    # 阶段2: 识别高价值前缀
    prefixes = extract_promising_prefixes(responses)

    # 阶段3: 梯度增强（如果可用）
    if has_gradient_access:
        prefixes = gradient_enhance(model, prefixes)

    # 阶段4: 系统提取
    extracted_data = []
    for prefix in prefixes:
        for temp in [0.1, 0.3, 0.5]:
            result = model.generate(prefix, temperature=temp)
            if validate_extraction(result):
                extracted_data.append(result)

    return deduplicate(extracted_data)

1.3 定向提取与广泛提取

1.3.1 定向提取策略

定向提取针对特定目标实施精准攻击，如提取某个特定人物、组织或系统的敏感信息。

目标识别与定位：

1. 实体锚定技术：

强锚定: 全名 + 唯一标识符
  "John Smith, employee ID 12345"

中锚定: 姓名 + 上下文
  "John Smith from Microsoft"

弱锚定: 部分信息组合
  "Software engineer John at Seattle"

2. 上下文累积策略：

# 多轮对话累积上下文
context = []
queries = [
    "Tell me about John Smith",
    "What is his role at the company?",
    "What projects has he worked on?",
    "Can you share his contact information?"
]

for query in queries:
    response = model.generate(query, context=context)
    context.append((query, response))
    extracted_info = extract_pii(response)

3. 关联图谱构建：

目标人物 ─→ 同事关系 ─→ 项目信息
   ↓           ↓           ↓
个人信息    组织架构    技术细节
   ↓           ↓           ↓
[整合] ←─────────────────→ [验证]

定向提取的数学建模：

目标信息的后验概率： $$P(I_{\text{target}}|O_1, ..., O_n) = \frac{P(O_1, ..., O_n|I_{\text{target}}) \cdot P(I_{\text{target}})}{\sum_I P(O_1, ..., O_n|I) \cdot P(I)}$$ 其中$O_i$是第$i$次查询的观察，$I_{\text{target}}$是目标信息。

1.3.2 广泛提取策略

广泛提取旨在批量收集训练数据，不针对特定目标。

系统化扫描方法：

1. 分层采样策略：

第1层：高频模式扫描

  - 常见PII格式
  - 标准文档模板

第2层：领域特定扫描

  - 行业术语组合
  - 专业文档格式

第3层：随机探索

  - 随机前缀生成
  - 异常模式发现

2. 自动化管道：

def broad_extraction_pipeline(model, num_queries=10000):
    patterns = load_extraction_patterns()
    results = []

    # 智能查询调度
    scheduler = QueryScheduler()

    while scheduler.budget > 0:
        # 选择下一个查询策略
        strategy = scheduler.select_strategy()

        if strategy == "template":
            query = generate_from_template()
        elif strategy == "random":
            query = generate_random_prefix()
        elif strategy == "mutation":
            query = mutate_successful_query()

        response = model.query(query)

        # 评估信息价值
        info_value = evaluate_information(response)
        scheduler.update(strategy, info_value)

        if info_value > threshold:
            results.append((query, response))

    return results

3. 并行提取优化： $$\text{Throughput} = \min(B, \frac{Q}{L})$$ 其中$B$是API带宽限制，$Q$是查询并行度，$L$是平均延迟

信息去重与聚合：

def deduplicate_extractions(raw_extractions):
    # 语义哈希去重
    semantic_hashes = {}

    for text in raw_extractions:
        # 计算语义指纹
        embedding = encode(text)
        hash_val = locality_sensitive_hash(embedding)

        if hash_val not in semantic_hashes:
            semantic_hashes[hash_val] = text
        else:
            # 合并相似信息
            semantic_hashes[hash_val] = merge_info(
                semantic_hashes[hash_val], text
            )

    return list(semantic_hashes.values())

1.3.3 效率度量与优化

信息增益率： $$R = \frac{I(X;Y)}{N \cdot C}$$ 其中$I(X;Y)$是提取信息的互信息，$N$是查询次数，$C$是单次查询成本。

查询价值评估： $$V(q) = P(\text{success}|q) \cdot I(\text{extract}|q) - \text{Cost}(q)$$ 自适应查询优化：

1. Thompson采样：

def thompson_sampling_query():
    # 维护每种策略的Beta分布
    strategy_priors = {
        "template": Beta(α=1, β=1),
        "prefix": Beta(α=1, β=1),
        "random": Beta(α=1, β=1)
    }

    # 采样并选择最优策略
    samples = {s: prior.sample() 
               for s, prior in strategy_priors.items()}
    best_strategy = max(samples, key=samples.get)

    return best_strategy

2. 信息论引导： 最大化期望信息增益： $$q^* = \arg\max_q H(Y) - H(Y|X=q)$$

3. 查询预算分配：

总预算 Q = 10000
├── 探索阶段 (20%): 2000 queries
│   └── 随机采样，建立基线
├── 利用阶段 (60%): 6000 queries
│   └── 聚焦高价值模式
└── 验证阶段 (20%): 2000 queries
    └── 交叉验证提取信息

2. 模型架构推断

2.1 黑盒探测技术

通过API访问推断模型内部结构：

2.1.1 层数推断

利用计算复杂度与响应时间的关系： $$T(n) = \alpha \cdot L \cdot n^2 + \beta$$ 其中$T(n)$是输入长度为$n$时的响应时间，$L$是层数。通过回归分析可估计$L$。

2.1.2 注意力头数探测

分析不同位置依赖的处理差异：

输入模式：
Pattern A: [相邻依赖] "The cat sat on the mat"
Pattern B: [长程依赖] "The cat that I saw yesterday sat on the mat"

响应差异 → 注意力机制特征

2.2 时序与资源消耗分析

2.2.1 缓存侧信道

首次查询: "What is machine learning?" → 时间 T1
重复查询: "What is machine learning?" → 时间 T2 < T1
相似查询: "What is deep learning?" → 时间 T3

分析 T1, T2, T3 关系 → 推断缓存策略 → 架构特征

2.2.2 内存占用模式

通过批量查询观察内存使用： $$M(b) = M_{\text{base}} + b \cdot (d_{\text{model}} \cdot L \cdot k)$$ 其中$b$是批大小，$d_{\text{model}}$是隐藏维度，$k$是序列长度系数。

2.3 架构指纹识别

不同架构的特征签名：

| 架构特征 | GPT系列 | BERT系列 | T5系列 |

通过设计探测输入，可以识别这些特征：

# 位置编码探测
probe_1 = "A B C D E F"
probe_2 = "F E D C B A"
# 分析输出分布差异

3. 参数提取与模型窃取

3.1 知识蒸馏攻击

攻击者通过查询API构建功能等价的模型：

3.1.1 基础蒸馏流程

目标模型 F --查询--> (x, F(x)) --训练--> 窃取模型 G
                |                    |
                v                    v
            API成本              功能近似

优化目标： $$\min_{\theta_G} \mathbb{E}_{x \sim \mathcal{D}} [KL(F(x) || G_{\theta}(x))]$$

3.1.2 查询效率优化

• 主动学习：选择最不确定的样本 $$x^* = \arg\max_x H(G(x)) - \max_y G(x)_y$$

• 对抗采样：生成最大化模型分歧的输入 $$x^* = \arg\max_x ||F(x) - G(x)||$$

3.2 API查询优化策略

3.2.1 自适应查询

根据模型响应动态调整查询策略：

# 伪代码
budget = 10000
queries = []
while len(queries) < budget:
    if uncertainty(current_model) > threshold:
        x = sample_high_entropy_region()
    else:
        x = sample_boundary_region()
    queries.append((x, target_model(x)))
    update_model(queries)

3.2.2 查询复用

利用相似输入的响应相关性： $$P(y|x') \approx P(y|x) \cdot \exp(-d(x, x')/\tau)$$

3.3 功能等价模型构建

评估窃取模型的质量：

任务保真度： $$\text{Fidelity} = \mathbb{E}_{x \sim \mathcal{D}_{\text{test}}} [\mathbb{1}[F(x) = G(x)]]$$ 分布相似度： $$\text{JSD}(F||G) = \frac{1}{2}KL(F||M) + \frac{1}{2}KL(G||M)$$ 其中$M = \frac{1}{2}(F + G)$

4. 成员推断攻击

4.1 置信度分析

判断样本是否在训练集中：

4.1.1 基础方法

def membership_inference(model, x, threshold):
    confidence = model.predict_proba(x).max()
    loss = -log(model.predict_proba(x)[true_label])

    # 训练样本通常有更高置信度、更低损失
    if confidence > threshold_conf or loss < threshold_loss:
        return "MEMBER"
    return "NON-MEMBER"

4.1.2 校准攻击

考虑模型的整体置信度分布： $$S(x) = \frac{P_{\theta}(y|x) - \mu_{\text{conf}}}{\sigma_{\text{conf}}}$$

4.2 影子模型技术

训练多个影子模型模拟目标模型：

原始模型 M (未知训练集 D)
    |
影子模型 S1, S2, ..., Sn (已知训练集 D1, D2, ..., Dn)
    |
训练攻击分类器 A: (model_output, membership) → {0, 1}
    |
应用到目标模型 M

攻击准确率： $$\text{Acc} = \frac{TP + TN}{TP + TN + FP + FN}$$

4.3 差分攻击方法

利用模型对相似输入的响应差异： $$\Delta(x, x') = ||P_{\theta}(y|x) - P_{\theta}(y|x')||$$ 训练成员的扰动鲁棒性通常更高： $$\mathbb{E}_{x' \sim \mathcal{N}(x, \epsilon)}[\Delta(x, x')] < \tau \Rightarrow x \in D_{\text{train}}$$

5. PII数据清洗漏洞与泄露风险

5.1 不完全清洗的攻击面

常见的PII清洗失败模式：

5.1.1 格式变体遗漏

标准格式: 555-123-4567
变体格式: 5551234567, (555) 123-4567, 555.123.4567
国际格式: +1-555-123-4567

5.1.2 上下文依赖清洗失败

原文: "张三的身份证号是110105199003076531"
清洗后: "张三的身份证号是[REDACTED]"
但保留: "1990年3月7日出生的张三，户籍在北京东城区"
→ 可重构部分身份证号

5.2 间接PII重构

通过非PII信息推断PII：

# 示例：从公开信息推断私密信息
public_info = {
    "name": "张三",
    "company": "某科技公司",
    "position": "高级工程师",
    "graduation": "2015年北大"
}

# 模型可能泄露：
# - 工号范围（根据入职时间）
# - 薪资范围（根据职位）
# - 住址范围（根据通勤模式）

5.3 跨数据源关联

多源数据的关联风险：

数据源A: 用户ID → 购买历史
数据源B: 邮箱 → 用户ID
数据源C: 邮箱 → 真实姓名
组合: 真实姓名 → 购买历史（隐私泄露）

防护措施失效分析： $$P(\text{泄露}) = 1 - \prod_{i=1}^n (1 - p_i)$$ 其中$p_i$是第$i$个数据源的泄露概率。

6. 形式化建模：信息论视角的隐私泄露度量

6.1 隐私泄露的信息论定义

定义隐私泄露为条件熵的减少： $$\mathcal{L}(X|Y) = H(X) - H(X|Y)$$ 其中$X$是隐私变量，$Y$是模型输出。

6.2 最大泄露量界限

对于$\epsilon$-差分隐私机制： $$\mathcal{L}_{\max} \leq \epsilon \cdot \log e$$ 证明基于Rényi散度： $$D_{\alpha}(P||Q) = \frac{1}{\alpha-1} \log \sum_x P(x)^{\alpha} Q(x)^{1-\alpha}$$

6.3 记忆化与泄露的关系

记忆化程度$M$与隐私泄露$\mathcal{L}$的关系： $$\mathcal{L} \approx k \cdot M \cdot (1 - e^{-n/N})$$ 其中$n$是查询次数，$N$是模型容量，$k$是数据相关常数。

7. 历史事件分析

7.1 GPT-2训练数据泄露研究（2021）

事件概述： Carlini等研究者从GPT-2中成功提取了600多个唯一的训练文本片段，包括个人身份信息、代码片段等。

技术方法：

1. 生成大量文本样本（600,000个）
2. 使用困惑度异常检测记忆化内容
3. 互联网搜索验证提取内容

关键发现：

• 模型规模越大，记忆化越严重
• 低频文本更容易被完整记忆
• 某些前缀能触发逐字复现

7.2 GitHub Copilot代码泄露事件

事件概述： 研究发现Copilot会逐字复现训练集中的代码，包括私有仓库代码和包含密钥的配置文件。

泄露示例：

# 用户输入注释
# Connect to database

# Copilot可能生成（包含真实密码）
conn = psycopg2.connect(
    host="prod-db.company.com",
    database="users",
    user="admin",
    password="ActualPassword123!"  # 真实训练数据
)

影响分析：

• 知识产权风险
• 安全凭证泄露
• 合规性问题

8. 高级话题：差分隐私与记忆化的权衡

8.1 差分隐私训练的代价

应用差分隐私（DP-SGD）的效用损失： $$\text{Utility Loss} \propto \frac{d \cdot \log(1/\delta)}{\epsilon^2 \cdot n}$$ 其中$d$是模型维度，$n$是数据集大小，$(\epsilon, \delta)$是隐私参数。

8.2 自适应隐私预算分配

根据数据敏感度动态分配隐私预算：

def adaptive_privacy_allocation(data_batch):
    sensitivity_scores = compute_sensitivity(data_batch)
    privacy_budgets = []

    for x, score in zip(data_batch, sensitivity_scores):
        if score > high_threshold:
            budget = epsilon_high  # 更强保护
        elif score > medium_threshold:
            budget = epsilon_medium
        else:
            budget = epsilon_low
        privacy_budgets.append(budget)

    return privacy_budgets

8.3 记忆化的选择性抑制

设计损失函数惩罚过度记忆： $$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{task}} + \lambda \cdot \mathcal{L}_{\text{forget}}$$ 其中遗忘损失定义为： $$\mathcal{L}_{\text{forget}} = \max(0, M(x) - \tau)^2$$

本章小结

本章系统探讨了模型逆向与信息提取的核心技术。我们学习了训练数据提取的多种攻击路径，包括前缀引导、模板填充和梯度引导方法。模型架构推断技术展示了如何通过黑盒探测、时序分析来识别模型结构。参数提取与模型窃取部分介绍了知识蒸馏攻击和查询优化策略。成员推断攻击通过置信度分析、影子模型等技术判断样本的训练集归属。我们还深入分析了PII数据清洗的漏洞和跨源关联风险。形式化建模提供了信息论视角的隐私度量框架，而历史事件分析帮助我们理解真实世界的威胁。最后，我们探讨了差分隐私与模型效用的权衡，这是未来研究的重要方向。

核心要点：

1. 模型记忆化是信息提取攻击的根源
2. 黑盒API也可能泄露大量模型信息
3. PII清洗需要考虑间接泄露和关联攻击
4. 差分隐私提供理论保证但有效用代价
5. 防御需要在多个层面协同实施

练习题

练习1（基础）

设计一个实验来测试语言模型是否记忆了特定的训练文本。你需要考虑哪些因素？

练习2（基础）

如果一个模型的API限制每分钟100次查询，你如何优化模型窃取攻击的查询策略？

练习3（基础）

解释为什么低频训练数据比高频数据更容易被模型记忆和提取。

练习4（挑战）

设计一个防御机制，能够检测并阻止训练数据提取攻击，同时保持模型的正常功能。

练习5（挑战）

推导在$(\epsilon, \delta)$-差分隐私下，成员推断攻击成功率的理论上界。

练习6（挑战）

如何利用模型的梯度信息来增强成员推断攻击？设计具体的攻击算法。

def gradient_based_membership_inference(model, x, y):
    # 计算样本梯度
    loss = cross_entropy(model(x), y)
    grad = compute_gradient(loss, model.parameters())

    # 特征提取
    features = [
        grad.norm(),  # 梯度范数
        grad.var(),   # 梯度方差
        compute_hessian_trace(loss, model),  # 二阶信息
        cosine_similarity(grad, avg_grad)  # 与平均梯度的相似度
    ]

    # 使用训练好的分类器
    return attack_classifier.predict(features)

练习7（开放）

讨论未来量子计算对模型逆向攻击的潜在影响。哪些攻击会变得更容易？需要什么新的防御？

常见陷阱与错误

陷阱1：过度依赖单一指标

❌ 错误：仅用损失值判断成员资格 ✅ 正确：综合多个指标（损失、置信度、梯度、预测一致性）

陷阱2：忽视查询模式检测

❌ 错误：连续发送相似的提取查询 ✅ 正确：随机化查询顺序，混入正常查询

陷阱3：低估模型记忆化

❌ 错误：认为大模型不会逐字记忆 ✅ 正确：任何规模的模型都可能记忆低频数据

陷阱4：清洗后的错误安全感

❌ 错误：PII替换为[REDACTED]就安全了 ✅ 正确：考虑上下文重构和关联攻击

陷阱5：差分隐私参数选择不当

❌ 错误：盲目使用很小的ε值 ✅ 正确：平衡隐私保护和模型效用

陷阱6：忽视时序信息泄露

❌ 错误：只关注输出内容 ✅ 正确：响应时间也可能泄露信息

陷阱7：静态防御思维

❌ 错误：部署固定的防御机制 ✅ 正确：持续监控和自适应防御

最佳实践检查清单

模型训练阶段

• [ ] 实施数据去重，减少过度暴露
• [ ] 应用差分隐私训练（DP-SGD）
• [ ] 定期审计训练数据中的PII
• [ ] 使用数据脱敏和合成数据技术
• [ ] 限制低频数据的训练轮次

模型部署阶段

• [ ] 实施API访问速率限制
• [ ] 部署输出过滤器检测记忆化内容
• [ ] 监控异常查询模式
• [ ] 使用模型水印技术
• [ ] 定期进行安全审计

隐私保护措施

• [ ] 遵循数据最小化原则
• [ ] 实施多层次的PII检测和清洗
• [ ] 使用联邦学习减少中心化风险
• [ ] 部署隐私保护的推理机制
• [ ] 建立数据泄露应急响应流程

监控与检测

• [ ] 建立基线正常行为模型
• [ ] 实时监控提取攻击指标
• [ ] 记录和分析所有API访问
• [ ] 定期进行渗透测试
• [ ] 跟踪模型的记忆化程度

合规与文档

• [ ] 记录所有隐私保护措施
• [ ] 保持GDPR/CCPA合规性
• [ ] 提供用户数据删除机制
• [ ] 定期更新安全策略
• [ ] 培训团队的安全意识