第12章：序列生成方法

序列生成方法将3D网格的生成过程视为一个离散序列的构建过程，通过自回归模型逐步生成顶点和面片。这种方法借鉴了自然语言处理中的成功经验，特别是Transformer架构在序列建模上的强大能力，为3D几何生成提供了全新的视角。本章将深入探讨PolyGen等代表性方法，分析序列化表示的设计原理，以及如何通过约束采样确保生成网格的有效性。

12.1 序列化3D生成概述

12.1.1 网格作为离散序列

传统的网格表示 $\mathcal{M} = (\mathcal{V}, \mathcal{F})$ 可以被重新理解为两个有序序列：

$$\mathcal{V} = \{v_1, v_2, ..., v_n\}, \quad v_i \in \mathbb{R}^3$$ $$\mathcal{F} = \{f_1, f_2, ..., f_m\}, \quad f_j \subseteq \{1, 2, ..., n\}$$ 这种序列化视角使我们能够应用强大的序列建模技术。生成过程可以表示为条件概率分解： $$P(\mathcal{M}|c) = P(\mathcal{V}|c) \cdot P(\mathcal{F}|\mathcal{V}, c)$$ 其中 $c$ 表示条件信息（如图像、文本或类别标签）。

12.1.2 自回归建模原理

自回归模型通过链式法则将联合概率分解为条件概率的乘积： $$P(\mathcal{V}|c) = \prod_{i=1}^{n} P(v_i|v_{<i}, c)$$ 这种分解允许模型在生成每个元素时考虑所有先前生成的元素，确保全局一致性：

生成流程：

1. 初始化：h_0 = encode(c)
2. 对于 i = 1 to n：
   - 计算上下文：h_i = attention(v_{<i}, h_{i-1})
   - 预测分布：P(v_i) = decode(h_i)
   - 采样顶点：v_i ~ P(v_i)

12.1.3 优势与挑战

优势：

• 灵活拓扑：可生成任意亏格和连通分量的网格
• 概率建模：提供明确的似然估计和不确定性量化
• 条件生成：易于集成多模态条件信息
• 可解释性：生成过程可逐步观察和调试

挑战：

• 序列长度：复杂网格的序列可能非常长（数千个token）
• 排序敏感：不同的序列化顺序影响学习难度
• 有效性保证：需要确保生成的面片引用有效顶点
• 计算效率：自回归生成的串行特性限制推理速度

12.2 PolyGen架构详解

12.2.1 整体架构设计

PolyGen采用两阶段生成策略，分别处理顶点和面片：

输入图像 I
    ↓
图像编码器 (ResNet + FPN)
    ↓
全局特征 z ∈ R^d
    ├─────────────────┐
    ↓                 ↓
顶点模型           面片模型
(Vertex Model)     (Face Model)
    ↓                 ↓
顶点序列 V         面片序列 F
    └─────────────────┘
            ↓
        最终网格 M

12.2.2 顶点生成网络

顶点模型使用Transformer解码器架构，将连续的3D坐标离散化为词表：

坐标量化：将每个坐标轴量化为 $K$ 个离散值： $$q(x) = \lfloor K \cdot \frac{x - x_{min}}{x_{max} - x_{min}} \rfloor$$ 序列表示：每个顶点表示为3个token： $$v_i = [x_i^q, y_i^q, z_i^q, \text{}]$$ 注意力机制： $$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ 其中自注意力确保新顶点与已生成顶点的空间一致性。

12.2.3 面片生成网络

面片模型使用指针网络（Pointer Network）来引用已生成的顶点：

指针机制：对于三角面片 $f = (i, j, k)$，模型预测三个指针： $$P(i|V, f_{<t}) = \text{softmax}(W_p \cdot [h_t; v_1, ..., v_n])$$ 停止符预测：使用特殊token表示面片序列结束： $$P(\text{stop}|V, F_{<t}) = \sigma(W_s \cdot h_t)$$

12.2.4 训练策略

教师强制（Teacher Forcing）： 训练时使用真实序列作为输入，避免误差累积： $$\mathcal{L}_{vertex} = -\sum_{i=1}^{n} \log P(v_i^*|v_{<i}^*, c)$$ 课程学习（Curriculum Learning）： 逐步增加生成序列的复杂度：

• 阶段1：简单几何体（< 100顶点）
• 阶段2：中等复杂度（100-500顶点）
• 阶段3：复杂网格（> 500顶点）

12.3 顶点-面序列表示

12.3.1 网格序列化策略

不同的序列化策略对学习效果有显著影响：

广度优先遍历（BFS）：

起始顶点 v_0
队列 Q = [v_0]
序列 S = []
while Q 非空:
    v = Q.dequeue()
    S.append(v)
    for 邻接顶点 u:
        if u 未访问:
            Q.enqueue(u)

基于曲率的排序： 优先访问高曲率区域，捕获几何特征： $$\text{priority}(v) = |\kappa_1(v)| + |\kappa_2(v)|$$ 空间排序： 基于空间填充曲线（如Z-order）的确定性排序： $$\text{morton}(x, y, z) = \text{interleave}(\text{binary}(x), \text{binary}(y), \text{binary}(z))$$

12.3.2 顶点索引机制

为了使面片能够正确引用顶点，需要建立稳定的索引系统：

绝对索引： 每个顶点分配唯一ID：$v_i \rightarrow i \in \{1, 2, ..., n\}$

相对索引： 使用相对位置减少索引空间： $$\text{rel_idx}(v_j, \text{context}_i) = j - \max\{k | v_k \in \text{context}_i\}$$ 层次索引： 多分辨率索引树，支持不同细节层次：

Level 0: [v1, v5, v9, ...]    # 粗糙层
Level 1: [v2, v3, v6, v7, ...] # 中等层
Level 2: [v4, v8, ...]         # 细节层

12.3.3 面片的序列表示

三角网格表示： 每个三角形表示为三个顶点索引： $$f_i = (p_1^i, p_2^i, p_3^i), \quad p_j^i \in \{1, ..., |\mathcal{V}|\}$$ 多边形网格表示： 使用变长序列和分隔符： $$f_i = [n_i, p_1^i, ..., p_{n_i}^i, \text{}]$$ 其中 $n_i$ 是多边形的边数。

面片排序策略：

• 邻接优先：按面片连通性排序，保持局部连贯性
• 法向聚类：相似法向的面片grouped together
• 面积加权：大面片优先，控制细节层次

12.3.4 停止符号与边界处理

顶点序列终止： $$P(\text{}|v_1, ..., v_t) = \sigma(W_{\text{stop}} \cdot h_t + b_{\text{stop}})$$ 面片有效性检查：

def is_valid_face(face, vertices):
    # 检查索引范围
    if any(idx >= len(vertices) for idx in face):
        return False
    # 检查退化情况
    if len(set(face)) < 3:
        return False
    # 检查共线性
    v0, v1, v2 = vertices[face[0:3]]
    if norm(cross(v1-v0, v2-v0)) < epsilon:
        return False
    return True

12.4 Transformer在3D生成中的应用

12.4.1 自注意力的几何解释

在3D上下文中，注意力权重反映了空间关系：

几何注意力： $$\alpha_{ij} = \frac{\exp(s_{ij}/\tau)}{\sum_k \exp(s_{ik}/\tau)}$$ 其中相似度结合了语义和几何信息： $$s_{ij} = \lambda_1 \cdot \text{cosine}(h_i, h_j) + \lambda_2 \cdot \exp(-|v_i - v_j|^2/\sigma^2)$$ 多头注意力的作用：

• Head 1-2: 局部几何关系（邻接顶点）
• Head 3-4: 全局结构关系（对称性）
• Head 5-6: 语义特征关系（部件级）
• Head 7-8: 长程依赖关系（拓扑）

12.4.2 位置编码设计

标准的正弦位置编码需要适应3D几何：

3D位置编码： $$PE(v) = \text{concat}[PE_x(x), PE_y(y), PE_z(z)]$$ 其中每个维度使用频率编码： $$PE_x(x) = [\sin(2^0 \pi x), \cos(2^0 \pi x), ..., \sin(2^L \pi x), \cos(2^L \pi x)]$$ 图结构位置编码： 基于拉普拉斯特征向量： $$PE_{\text{graph}}(v_i) = [\phi_1(i), \phi_2(i), ..., \phi_k(i)]$$ 其中 $\phi_j$ 是图拉普拉斯矩阵的第 $j$ 个特征向量。

12.4.3 条件生成机制

交叉注意力： 将条件信息 $c$ 融入生成过程： $$\text{CrossAttn}(Q_{\text{mesh}}, K_{\text{cond}}, V_{\text{cond}}) = \text{softmax}\left(\frac{Q_{\text{mesh}} K_{\text{cond}}^T}{\sqrt{d}}\right) V_{\text{cond}}$$ 条件嵌入： 多模态条件的统一表示：

图像条件: z_img = CNN(I)
文本条件: z_text = BERT(T)
类别条件: z_class = Embed(c)
融合: z_cond = MLP([z_img; z_text; z_class])

12.4.4 层次化注意力机制

局部-全局注意力：

Layer 1-4: 局部窗口注意力 (window_size=32)
Layer 5-8: 稀疏全局注意力 (stride=4)
Layer 9-12: 完全注意力

自适应注意力范围： 根据生成阶段动态调整： $$\text{range}(t) = \min(t, \text{base_range} \cdot (1 + \log(1 + t/100)))$$

12.5 约束采样与有效性保证

12.5.1 几何约束的实施

生成过程中必须满足的几何约束：

非自交约束： 检测并避免面片相交： $$\text{valid}(f_{\text{new}}) = \forall f \in \mathcal{F}: \text{intersection}(f_{\text{new}}, f) = \emptyset$$ 流形约束： 确保每条边最多被两个面片共享： $$|\{f \in \mathcal{F} : e \subset f\}| \leq 2, \quad \forall e \in \mathcal{E}$$ 法向一致性： 相邻面片法向夹角约束： $$\cos(\theta_{ij}) = \mathbf{n}_i \cdot \mathbf{n}_j > \cos(\theta_{\max})$$

12.5.2 采样策略

Top-k采样： 限制候选集合大小： $$\mathcal{C}_k = \text{top-k}(P(v_i|v_{<i}))$$ $$v_i \sim \text{renormalize}(\mathcal{C}_k)$$ Nucleus采样（Top-p）： 动态确定候选集合： $$\mathcal{C}_p = \{v : \sum_{v' \in \mathcal{C}_p} P(v') \leq p\}$$ 温度控制： 调节生成的多样性： $$P_{\tau}(v_i) = \frac{\exp(\text{logit}(v_i)/\tau)}{\sum_j \exp(\text{logit}(v_j)/\tau)}$$ 其中：

• $\tau < 1$: 更确定性，生成更规则
• $\tau > 1$: 更随机，生成更多样
• $\tau = 1$: 标准采样

12.5.3 约束引导采样

硬约束： 直接从有效集合中采样： $$v_i \sim P(v_i | v_{<i}, v_i \in \mathcal{V}_{\text{valid}})$$ 软约束： 通过能量函数引导： $$\tilde{P}(v_i) = P(v_i) \cdot \exp(-\lambda E(v_i, v_{<i}))$$ 其中能量函数定义为： $$E(v_i, v_{<i}) = w_1 E_{\text{dist}} + w_2 E_{\text{smooth}} + w_3 E_{\text{symm}}$$ 梯度引导： 使用可微约束的梯度修正采样： $$v_i' = v_i - \epsilon \nabla_{v_i} \mathcal{L}_{\text{constraint}}(v_i, v_{<i})$$

12.5.4 后处理与网格修复

退化三角形移除：

面积阈值: A(f) < ε_area
角度阈值: min(angles(f)) < ε_angle
边长比: max(edges)/min(edges) > ratio_max

拓扑修复：

• 孔洞填充：检测边界环并三角化
• 非流形边修复：分裂共享超过两个面的边
• 孤立组件移除：删除小于阈值的连通分量

网格优化： 拉普拉斯平滑： $$v_i' = v_i + \lambda \sum_{j \in N(i)} w_{ij}(v_j - v_i)$$ 其中权重 $w_{ij}$ 可以是：

• 均匀权重：$w_{ij} = 1/|N(i)|$
• 余切权重：$w_{ij} = (\cot \alpha_{ij} + \cot \beta_{ij})/2$

12.6 扩展方法与变体

12.6.1 MeshGPT与大规模预训练

架构改进：

• 使用GPT-style的因果注意力
• 扩展到数十亿参数规模
• 多任务预训练（生成、补全、编辑）

训练策略：

阶段1: 无监督预训练

  - 数据: 大规模3D数据集（Objaverse-XL）
  - 任务: 网格序列的下一个token预测

阶段2: 监督微调

  - 数据: 高质量标注数据
  - 任务: 条件生成、风格迁移

阶段3: 强化学习微调

  - 奖励: 几何质量、美学评分
  - 方法: PPO/REINFORCE

12.6.2 基于图的序列模型

图序列化： 将网格视为图，使用图遍历生成序列： $$G = (V, E) \rightarrow \text{seq} = \text{GraphTraversal}(G)$$ 图注意力网络（GAT）集成： $$h_i' = \sigma\left(\sum_{j \in N(i)} \alpha_{ij} W h_j\right)$$ 其中注意力系数： $$\alpha_{ij} = \frac{\exp(\text{LeakyReLU}(a^T[Wh_i || Wh_j]))}{\sum_{k \in N(i)} \exp(\text{LeakyReLU}(a^T[Wh_i || Wh_k]))}$$

12.6.3 混合表示的序列生成

隐式-显式混合：

1. 生成粗糙隐式场（SDF）
2. 提取初始网格（Marching Cubes）
3. 序列模型细化顶点和拓扑
4. 最终优化和正则化

多模态序列： 同时生成几何、纹理和材质： $$\text{seq} = [v_1, ..., v_n, \text{}, f_1, ..., f_m, \text{}, uv_1, ..., \text{}, \text{material}]$$ 层次化序列生成：

Level 0: 生成包围盒顶点（8个）
Level 1: 细分并生成主要特征（~50个顶点）
Level 2: 添加细节（~200个顶点）
Level 3: 最终细化（~1000个顶点）

每层使用不同的模型和词表精度。

本章小结

序列生成方法为3D网格生成开辟了新的范式，通过将连续的几何结构离散化为符号序列，使得我们能够利用自然语言处理领域的强大模型架构。关键要点包括：

1. 序列化表示：网格的顶点-面序列表示使得自回归建模成为可能，不同的序列化策略（BFS、空间排序、曲率优先）对学习效果有显著影响。

2. PolyGen架构：两阶段生成（顶点→面片）有效分离了几何和拓扑的复杂性，指针网络巧妙解决了面片引用问题。

3. Transformer的应用：自注意力机制天然适合捕获3D空间关系，位置编码和条件机制的设计对生成质量至关重要。

4. 约束与采样：通过硬约束、软约束和后处理确保生成网格的有效性，温度控制和nucleus采样平衡了质量与多样性。

5. 扩展方向：大规模预训练（MeshGPT）、图序列模型、混合表示等方法展示了序列生成的广阔前景。

关键公式回顾：

• 自回归分解：$P(\mathcal{M}) = P(\mathcal{V}) \cdot P(\mathcal{F}|\mathcal{V})$
• 几何注意力：$\alpha_{ij} = \text{softmax}(s_{ij}/\tau)$
• 约束采样：$\tilde{P}(v) = P(v) \cdot \exp(-\lambda E(v))$

常见陷阱与错误（Gotchas）

1. 序列长度爆炸

问题：复杂网格可能产生数千个token的序列，导致训练和推理效率低下。 解决：

• 使用层次化生成，先生成粗糙网格再细化
• 采用稀疏注意力机制减少计算复杂度
• 实施序列长度上限和自适应截断

2. 顶点排序依赖

问题：模型性能对顶点序列化顺序高度敏感。 解决：

• 训练时使用多种排序的数据增强
• 设计排序不变的架构（如使用Set2Seq）
• 采用确定性的规范化排序（如Morton编码）

3. 面片有效性违反

问题：生成的面片可能引用不存在的顶点索引。 解决：

• 使用masked attention确保只能引用已生成顶点
• 实施运行时验证和回退机制
• 训练时加入有效性奖励的强化学习

4. 拓扑不一致

问题：生成的网格可能包含非流形结构、自相交等拓扑错误。 调试技巧：

1. 检查每条边的面片数（应该≤2）
2. 验证欧拉特征数：V - E + F = 2(1-g)
3. 使用半边结构验证局部拓扑
4. 可视化法向量检测翻转面片

5. 训练不稳定

问题：序列模型训练容易出现梯度爆炸或模式崩塌。 解决：

• 使用梯度裁剪（clip_norm=1.0）
• 采用warmup学习率调度
• 实施teacher forcing比例的课程学习
• 监控perplexity和生成质量指标

6. 采样-训练不匹配

问题：训练时使用teacher forcing，推理时自回归采样，导致误差累积。 解决：

• Scheduled sampling：逐渐增加模型预测的使用比例
• 使用生成样本进行自训练
• 引入噪声注入提高鲁棒性

7. 条件信息泄露

问题：模型可能过度依赖条件信息，忽略序列上下文。 调试方法：

• 随机mask部分条件信息进行训练
• 分析注意力权重分布
• 测试zero-shot生成能力

练习题

练习1：序列化策略比较（基础题）

给定一个简单的四面体网格，顶点为 $v_1=(0,0,0)$, $v_2=(1,0,0)$, $v_3=(0,1,0)$, $v_4=(0,0,1)$，分别使用BFS遍历和Morton编码生成顶点序列，并分析两种序列的特点。

Hint: BFS从任意顶点开始，按邻接关系遍历；Morton编码需要先将坐标归一化到[0,1]区间。

练习2：注意力权重分析（基础题）

在生成第5个顶点时，自注意力机制产生了权重$[\alpha_1, \alpha_2, \alpha_3, \alpha_4] = [0.1, 0.15, 0.35, 0.4]$。如果前4个顶点形成了一个平面四边形，这个权重分布说明了什么？第5个顶点最可能的位置是什么？

Hint: 考虑权重最高的顶点对新顶点位置的影响。

练习3：温度参数影响（基础题）

给定顶点预测的原始logits为$[2.0, 1.5, 1.0, 0.5, 0.0]$，计算温度$\tau=0.5$和$\tau=2.0$时的概率分布，并解释温度对生成的影响。

Hint: 使用公式$P_i = \exp(\text{logit}_i/\tau) / \sum_j \exp(\text{logit}_j/\tau)$

练习4：面片指针网络（挑战题）

设计一个指针网络的注意力机制，使其能够避免生成退化三角形（三点共线）。给出数学形式并解释如何集成到PolyGen架构中。

Hint: 考虑在注意力计算中加入几何约束项。

练习5：序列长度优化（挑战题）

推导层次化生成相对于直接生成的计算复杂度改进。假设最终网格有$N$个顶点，使用$L$层层次结构，每层细化因子为$r$。

Hint: 考虑自注意力的$O(n^2)$复杂度。

练习6：拓扑一致性验证（挑战题）

给定一个生成的网格序列，设计一个算法验证其是否满足2-流形条件。算法应该能检测：(a) 非流形边，(b) 非流形顶点，(c) 边界一致性。

Hint: 2-流形的每条边最多被两个面共享，每个顶点的邻域同胚于圆盘或半圆盘。

算法：2-流形验证

输入：顶点列表V，面片列表F
输出：是否为2-流形，错误列表

1. 构建边-面邻接表：
   edge_faces = {}
   for face in F:
       for edge in face.edges():
           edge_faces[edge].append(face)

2. 检测非流形边：
   for edge, faces in edge_faces:
       if len(faces) > 2:
           errors.append(f"非流形边 {edge}: {len(faces)} 个面")
       if len(faces) == 1:
           boundary_edges.add(edge)

3. 检测非流形顶点：
   for vertex in V:
       # 获取顶点的1-邻域
       incident_faces = get_incident_faces(vertex)
       incident_edges = get_incident_edges(vertex)

       # 构建局部图
       local_graph = build_local_graph(incident_faces)

       # 检查连通性
       if not is_connected(local_graph):
           errors.append(f"非流形顶点 {vertex}: 邻域不连通")

       # 检查欧拉特征
       V_local = len(get_local_vertices(vertex))
       E_local = len(incident_edges)
       F_local = len(incident_faces)

       if vertex in boundary:
           # 边界顶点：χ = 1（半圆盘）
           if V_local - E_local + F_local != 1:
               errors.append(f"边界顶点 {vertex} 拓扑错误")
       else:
           # 内部顶点：χ = 1（圆盘）
           if V_local - E_local + F_local != 1:
               errors.append(f"内部顶点 {vertex} 拓扑错误")

4. 验证边界一致性：
   # 边界应形成闭合环
   if not form_closed_loops(boundary_edges):
       errors.append("边界不形成闭合环")

返回 len(errors) == 0, errors

练习7：条件生成的信息流（开放题）

分析PolyGen中条件信息（如输入图像）如何影响最终生成的网格。设计实验验证条件信息在不同生成阶段的重要性。

Hint: 考虑注意力权重可视化、梯度分析、ablation study。

练习8：扩展到4D网格（开放题）

探讨如何将PolyGen架构扩展到生成4D网格（如时空网格或4D几何）。讨论主要挑战和可能的解决方案。

Hint: 考虑4D单纯形、时序一致性、计算复杂度。

Level 0: 关键帧（3D切片）
Level 1: 帧间插值
Level 2: 时空细化