第 1 章 导论与预备知识（chapter1.md）

1. 开篇段落

本章作为神经切线核（NTK）理论教程的开篇，旨在为读者构建理解现代深度学习理论所必需的基础框架。我们首先探讨深度学习实践中与经典统计学习理论相悖的核心现象：泛化悖论与双下降曲线。这些现象迫使我们放弃传统的基于模型容量的分析，转向关注训练算法的隐式偏置。随后，我们将系统回顾经典统计学习理论、线性模型与核方法，特别是再生核 Hilbert 空间（RKHS）的概念，因为 NTK 理论的精髓在于证明复杂的深度网络训练动态在极限情况下等价于简单的 RKHS 上的核回归。通过本章的学习，读者将掌握 NTK 理论的核心直觉，并理解其在理论分析中的强大简化能力。

1.1 深度学习的泛化悖论

经典的统计学习理论（Statistical Learning Theory）基于一个核心假设：为了保证泛化能力，模型的复杂度必须受到严格控制。这一思想体现在经典的偏差-方差（Bias-Variance）权衡上。

1.1.1 经典权衡与模型容量的危机

在欠参数化机制（Underparameterized Regime）下，增加模型复杂度 $C$（如参数数量 $P$）对测试误差 $E_{test}$ 的影响通常表现为 U 型曲线：

1. 低复杂度： 模型欠拟合，偏差高，测试误差大。
2. 中等复杂度： 达到最优平衡，泛化能力最好。
3. 高复杂度： 模型过拟合，方差高，测试误差再次增大。

经典理论通过 VC 维（Vapnik-Chervonenkis Dimension）或 Rademacher 复杂度来量化 $C$。然而，现代深度学习模型拥有数以亿计的参数，其理论容量 $C$ 远超训练数据量 $N$。根据经典理论，当 $P \gg N$ 时，模型应该严重过拟合。

悖论： 实践中观察到，在图像识别（ImageNet）或大规模语言模型（LLMs）等任务，即使参数量远超数据量，模型仍然能保持出色的泛化能力，并且通常越大的模型性能越好。这种现象，即深度学习的泛化悖论，表明模型容量本身不足以解释泛化性能。我们需要研究训练算法在众多可能的零训练误差解（插值解）中选择了哪一个。

1.2 过参数化与零训练误差现象

过参数化（Overparameterization） 是指模型参数数量 $P$ 远大于训练样本数量 $N$ 的情况 ($P \gg N$）。

1.2.1 插值解与双下降现象

在过参数化机制下，损失函数曲面不再是凸的，但梯度下降可以轻易找到一个或多个解 $\theta^*$ 使得训练损失 $\mathcal{L}(\theta^*) = 0$。这些解被称为插值解。

插值解的集合是巨大的，且并非所有插值解都泛化良好。双下降（Double Descent）曲线清晰地描述了泛化误差随着模型复杂度的变化规律，并将模型复杂度划分为三个关键区域：

图 1.1 双下降象示意图

测试误差 E_test
  ^
  |          / \
  |         /   \
  |        /     \
  |       /       \
  |      /         \
  |-----/------*-----\----
  |    /      / \     \
  |   /      /   \     \
  |  /      /     \     \
  +-------------------------> P (参数数量)
   P < N    P ≈ N     P >> N
  (经典/欠参数化) (临界插值) (现代/过参数化)

1. 经典机制 ($P < N$): 误差遵循 U 型曲线。
2. 临界机制 ($P \approx N$): 模型容量恰好能插值数据，此时模型对噪声和标签扰动极其敏感，测试误差达到峰值。
3. 过参数化机制 ($P \gg N$): 随着 $P$ 进一步增加，测试误差开始第二次下降。

NTK 理论主要关注 $P \to \infty$ 的极限，在这个极限下，网络训练动态变得极其稳定和可解析，并提供了对第二次下降机制的精确数学描述。

1.3 经典统计学习理论回顾

1.3.1 VC 维、Rademacher 复杂度与泛化界

• VC 维 (Vapnik-Chervonenkis Dimension): 作为一个二值分类器的容量度量，它与网络参数 $P$ 线性相关。对于一个深度网络，VC 维通常非常大。
  • 局限： VC 维是基于假设空间最坏情况下的能力来定义的。它并没有考虑训练算法如何影响假设空间的有效利用。
• Rademacher 复杂度： 旨在衡量假设空间对随机（噪声）标签的拟合能力。它是数据依赖的，通常比 VC 维界限更紧，但其核心仍然是统一界（Uniform Bound）：它要求一个界限适用于假设空间中的所有函数。

经典泛化界（如 PAC 学习框架）指出，期望误差 $E_{test}$ 受到训练误差 $E_{train}$ 加上一个与模型容量和 $1/\sqrt{N}$ 相关的惩罚项的约束。当 $P$ 巨大时，这些界限失效。

1.3.2 经验风险最小化与结构风险最小化

• 经验风险最小化 (ERM): 在过参数化机制下，ERM 产生了无限多的插值解 $\theta^*$。ERM 本身不区分这些解的泛化能。
• 结构风险最小化 (SRM): 通过引入正则项 $R(\theta)$ 来选择“好”的解： $$\min_{\theta} \mathcal{L}_{train}(\theta) + \lambda R(\theta)$$ NTK 理论揭示了深度网络训练中的一种隐式正则化（Implicit Regularization）：即使 $\lambda=0$，梯度下降（或梯度流）也会在插值解集合中，倾向于选择那些具有某种最小复杂度的解。对于 NTK 而言，这种复杂度恰好由第 1.4 节介绍的 RKHS 范数度量。

1.4 线性模型与核方法速览

NTK 理论将深度网络的训练动态映射到线性核方法，因此核方法的概念至关重要。

1.4.1 线性回归与岭回归

线性模型 $f(\mathbf{x}) = \mathbf{w}^\top \mathbf{x} + b$。岭回归（L2 正则化）通过惩罚权重向量的范数 $|\mathbf{w}|^2$ 来控制模型复杂度。

最小范数解 (Minimum Norm Solution): 在过参数化的线性系统中，即特征数量 $D$ 远大于样本数 $N$ 时，存在无限多零训练差解。梯度下降会收敛到 $\ell_2$ 范数最小的解 $\mathbf{w}^*$，这是一种隐式正则化。

1.4.2 核方法与再生核 Hilbert 空间（RKHS）

核方法通过一个映射 $\phi: \mathcal{X} \to \mathcal{F}$ 将输入 $\mathbf{x}$ 映射到特征空间 $\mathcal{F}$。

核函数 $K$： 定义特征空间中的内积 $K(\mathbf{x}, \mathbf{x}') = \langle \phi(\mathbf{x}), \phi(\mathbf{x}') \rangle_{\mathcal{F}}$。

再生核 Hilbert 空间 (RKHS, $\mathcal{H}_K$)： 这是一个完备的函数空间，其中函数 $f$ 的范数 $|f|_{\mathcal{H}_K}$ 度量了其光滑性或复杂度。

• 再生性质 (Reproducing Property): RKHS 具有再生性，即对于任意 $x$，点评估泛函是连续的，且 $\langle f, K(\cdot, x) \rangle_{\mathcal{H}_K} = f(x)$。
• RKHS 范数： 如果一个核 $K$ 对应的 RKHS 范数 $|f|_{\mathcal{H}_K}$ 很大，说明 $f$ 在这个空间中是“复杂”的（高频、不光滑）。梯度流隐式偏好最小化这个范数的函数。

1.4.3 核回归与核岭回归 (KRR)

核回归在 RKHS 中寻找最优函数 $f$。根据表示定理（Representer Theorem），最优解可以表示为： $$f(\mathbf{x}) = \sum_{i=1}^N \alpha_i K(\mathbf{x}, \mathbf{x}_i)$$ 优化目标： KRR 最小化结构风险： $$ \min_{f \in \mathcal{H}_K} \left\{ \frac{1}{N} \sum_{i=1}^N (y_i - f(\mathbf{x}_i))^2 + \lambda |f|_{\mathcal{H}_K}^2 \right\} $$ 闭式解： 用矩阵形式表示，记 $\mathbf{K}$ 为 $N \times N$ 的核矩阵，$\mathbf{y}$ 为标签向量： $$\mathbf{\alpha} = (\mathbf{K} + N \lambda \mathbf{I})^{-1} \mathbf{y}$$ NTK 与 KRR 的联系： NTK 理论的核心贡献之一是证明，在 $W \to \infty$ 的极限下，深度网络训练动态等价于使用 NTK 核 $\Theta$ 进行 KRR，且隐式正则项 $\lambda$ 趋近于零。这意味着网络学习的是 NTK 对应的 RKHS 上的最小范数插值解。

1.5 深度网络训练的基本数学形式

1.5.1 参数间与函数空间视角

• 参数空间 $\mathbb{R}^P$： 关注权重 $\theta$ 的轨迹 $\theta(t)$。
• 函数空间 $\mathcal{F}$： 关注网络函数 $f_{\theta(t)}(\mathbf{x})$ 的轨迹。NTK 理论正是利用参数空间的动力学，在函数空间中找到了一个简单的描述。

1.5.2 损失函数、梯度下降与梯度流

我们考虑均方误差损失（MSE Loss）下的梯度流： $$\mathcal{L}(\theta) = \frac{1}{2N} \sum_{i=1}^N (f_\theta(\mathbf{x}_i) - y_i)^2$$ 梯度流方程（连续时间）： $$\frac{d\theta(t)}{dt} = - \nabla_\theta \mathcal{L}(\theta(t))$$ 对于 MSE 损失，梯度 $\nabla_\theta \mathcal{L}(\theta)$ 依赖于训练误差 $f_\theta(\mathbf{x}_i) - y_i$ 和梯度特征 $\nabla_\theta f_\theta(\mathbf{x}_i)$： $$ \frac{d\theta}{dt} = - \frac{1}{N} \sum_{i=1}^N (f_\theta(\mathbf{x}_i) - y_i) \nabla_\theta f_\theta(\mathbf{x}_i) $$

1.5.3 随机初始化与随机特征

随机特征 (Random Feature)：如果我们将神经网络的特征层 $\phi(\mathbf{x}; \theta_{feat})$ 冻结在初始化值 $\theta_0$，只训练输出层权重 $\mathbf{w}_{out}$。此时，网络 $f(\mathbf{x}) = \mathbf{w}_{out}^\top \phi(\mathbf{x})$ 是一个关于 $\mathbf{w}_{out}$ 的线性模型，训练动态可以直接通过岭回归求解。

NTK 理论的突破在于，它证明了即使所有层都参与训练，在 $W \to \infty$ 的极限下，网络仍表现得如同一个带有固定特征 $\nabla_\theta f_{\theta_0}(\mathbf{x})$ 的线性模型。

1.6 NTK 理论的高层直观

NTK 理论的核心直观基于一个观察：在无限宽极限下，神经网络的特征映射在训练过程中趋于不变。

1.6.1 从“网络刚度” (Network Stiffness) 出发

假设网络宽度 $W$ 很大，且参数方差 $O(1/W)$ (即 NTK 缩放)。单个参数 $\theta_j$ 的变化幅度很小。网络的输出 $f_\theta(x)$ 对参数的梯度（即特征向量）可以看作是网络的“形状”或“特征表示”。

当 $W \to \infty$，梯度特征 $\nabla_\theta f_\theta(\mathbf{x})$ 在训练过程中几乎没有变化，保持在它的初始值 $\nabla_\theta f_{\theta_0}(\mathbf{x})$。网络变得“刚性”（Stiff），难以改变其初始的特征表示能力。

1.6.2 线性化、核回归与 NTK 的核心思想

我们对网络函数 $f_\theta(\mathbf{x})$ 在参数空间中的轨迹进行分析。我们关注函数值的变化 $\Delta f(\mathbf{x}, t) = f_{\theta(t)}(\mathbf{x}) - f_{\theta_0}(\mathbf{x})$。

对 $f_\theta(\mathbf{x})$ 在 $\theta_0$ 处进行一阶泰勒展开： $$ f_{\theta(t)}(\mathbf{x}) \approx f_{\theta_0}(\mathbf{x}) + \nabla_\theta f_{\theta_0}(\mathbf{x})^\top (\theta(t) - \theta_0) $$ 记 $\mathbf{g}_0(\mathbf{x}) = \nabla_\theta f_{\theta_0}(\mathbf{x})$ 和 $\Delta\theta(t) = \theta(t) - \theta_0$。 $$ \Delta f(\mathbf{x}, t) \approx \mathbf{g}_0(\mathbf{x})^\top \Delta\theta(t) $$ 接下来，我们看函数空间中的训练动态。对 $\Delta f(\mathbf{x}, t)$ 求时导数： $$ \frac{d}{dt} f_{\theta(t)}(\mathbf{x}) = \nabla_\theta f_{\theta(t)}(\mathbf{x})^\top \frac{d\theta(t)}{dt} $$ 根据梯度流方程 (1.5.2) 和 NTK 极限假设（梯度特征保持不变：$\nabla_\theta f_{\theta(t)} \approx \mathbf{g}_0$）： $$ \frac{d}{dt} f_{\theta(t)}(\mathbf{x}) \approx - \sum_{i=1}^N \frac{1}{N} (f_{\theta(t)}(\mathbf{x}_i) - y_i) \cdot \underbrace{\nabla_\theta f_{\theta_0}(\mathbf{x})^\top \nabla_\theta f_{\theta_0}(\mathbf{x}_i)}_{\text{神经切线核 } \Theta(\mathbf{x}, \mathbf{x}_i)} $$ 神经切线核 (NTK) 的形式定义： $$ \Theta(\mathbf{x}, \mathbf{x}') = \nabla_\theta f_{\theta_0}(\mathbf{x})^\top \nabla_\theta f_{\theta_0}(\mathbf{x}') $$ 最终，函数空间中的动力学近似为一个关于 $f(t)$ 的线性常微分方程（ODE）组： $$ \frac{d\mathbf{f}(t)}{dt} \approx - \frac{1}{N} \mathbf{\Theta} (\mathbf{f}(t) - \mathbf{y}) $$ 其中 $\mathbf{f}(t) = [f_{\theta(t)}(\mathbf{x}_1), \dots, f_{\theta(t)}(\mathbf{x}_N)]^\top$， $\mathbf{\Theta}$ 是训练数据上的 NTK Gram 矩阵。

核心结论： 这是一个线性 ODE，其解是解析的，并且与核岭回归的解高度相关。NTK 理论的成功在于，它将深度非线性网络的训练转化为了一个可分析的线性系统。

1.6.3 NTK 与现代深度学习理论框架的关系图谱

NTK 理论提供了一个理解现代深度学习行为的“线性窗口”。

图 1.2 NTK 理论在现代深度学习理论中的位置

graph LR
    A[随机初始化] --> B(无限宽度 W -> ∞);
    B --> C[函数空间的高斯过程 (NNGP)];
    B --> D[参数空间的一阶线性化];
    D --> E[固定核 𝚯 (NTK)];
    E --> F[核回归/线性动力学];
    F --> G[解析泛化分析];
    I[有限宽度/大步长] --> J{特征学习 (非线性)};
    subgraph NTK Regime
        C -->|训练动态| E;
        E --> F;
    end
    subgraph General Deep Learning
        A --> J;
    end
    style A fill:#f9f,stroke:#333
    style E fill:#ccf,stroke:#333
    style F fill:#afa,stroke:#333

2. 本章小结

| 概念 | 描述 | 关键联系 |

3. 练习题

基础题 (50%)

1.1. 经典与现代机制的划分 根据双下降曲线，模型复杂度（参数数量 $P$）如何划分深度学习的经典泛化机制和现代泛化机制？在哪个机制下，零训练误差是必然现象？

1.2. KRR 中的正则项 在核岭回归 (KRR) 的优化目标中，正则项 $\lambda |f|_{\mathcal{H}_K}^2$ 扮演了什么角色？如果 $\lambda$ 趋于零，最优解将是什么类型的解（针对训练数据）？

1.3. 线性化近似 写出网络输 $f_\theta(\mathbf{x})$ 在 $\theta_0$ 附近的一阶泰勒展开式。解释 NTK 理论中，哪个假设保证了这个线性化近似在整个训练过程中都有效？

1.4. NTK 矩阵的维度 如果有一个训练集包含 $N$ 个样本，计算出的 NTK 矩阵 $\mathbf{\Theta}$ 的维度是多少？这个矩阵在训练动力学中代表什么？

挑战题 (50%)

1.5. RKHS 范数的物理意义 考虑两个核 $K_A$ 和 $K_B$。假设 $K_A$ 倾向于惩罚高频函数（即，高频函数的 $|f|_{\mathcal{H}_{K_A}}$ 很大），而 $K_B$ 对高频函数的惩罚较轻。如果使用 $K_A$ 和 $K_B$ 进行 KRR，哪个核在 $\lambda \to 0$ 时）更有可能得到一个更光滑的插值解？请解释 RKHS 范数与函数光滑性的关系。

1.6. 梯度流与隐式正则化 在线性模型中，当 $P \gg N$ 且 $\lambda=0$ 时，梯度下降会收敛到最小 $\ell_2$ 范数的解 $\mathbf{w}^*$. 这种隐式偏置是如何通过梯度流实现的？将这个机制类比到 NTK 框架下的 RKHS 范数最小化。

1.7. 宽度 $W$ 与刚度的关系 假设网络使用标准初始化（权重方差 $O(1)$）。为了确保 NTK 理论所需的“刚性”特征（即 $\Delta \theta$ 足够小），学习率 $\eta$ 必须如何依赖于宽度 $W$？请从参数梯度大小和参数数量的角度定性解释。

1.8. 双下降中的临界点分析 在 $P \approx N$ 的临界插值点，为什么测试误差会达到峰值？请从插值解对训练数据噪声的敏感性（方差）角度进行解释。

4. 常见陷阱与错误 (Gotchas)

G 1.1. 将 NTK 视为一般深度学习理论

• 错误： 认为 NTK 理论可以解释所有深度学习现（如表征学习、注意力机制的涌现能力）。
• 纠正： NTK 理论是一种惰性（Lazy）学习理论。它描述了在 $W \to \infty$ 和小学习率下，网络特征表示保持不变（刚性）的极限行为。实际深度学习（使用有限宽度和大步长）通常处于特征学习（Feature Learning）机制，此时网络会显著改变其特征表示。NTK 是分析的起点，而非终点。

G 1.2. 忽略 NTK 成立的必要缩放

• 错误： 认为只要网络宽，NTK 就成立。
• 纠正： NTK 成立需要特定的NTK Parameterization（或称 Jacobians 缩放）。例如，权重的方差需要缩放为 $O(1/W)$ 或 $O(1/L)$（$L$ 是层深），以确保梯度特征的内积（即 NTK 核）集中为一个 $O(1)$ 的固定值，并且训练过程中参数的移动是 $O(1/\sqrt{W})$ 级别的微小扰动。

G 1.3. 将 $f_{\theta_0}(x)$ 视为零

• 错误： 在分析 $f_{\theta(t)} \approx f_{\theta_0} + \Delta f$ 时，接忽略 $f_{\theta_0}(x)$ 项。
• 纠正： $f_{\theta_0}(x)$（初始化时的网络输出）通常是一个非零的随机变量（第 2 章将证明它服从高斯过程）。在 NTK 训练动态的 ODE 中，网络学习的目标是 $y - f_{\theta_0}(x)$，即它试图弥补初始输出与真实标签之间的差距。只有在标签 $y$ 被标准化或 $f_{\theta_0}(x)$ 足够小的情况下，才能近似忽略它。

G 1.4. 误解隐式正则化的来源

• 错误： 认为 NTK 的隐式正则化来自损失函数或数据结构。
• 纠正： NTK 的隐式正则化（即偏爱最小 RKHS 范数解）主要来自训练算法的选择（梯度下降/梯度流）和初始化的选择。梯度流在参数空间中追求最短路径，这投射到函数空间后产生了最小化 RKHS 范数的偏置。