第10章：形式化合成与谱建模

s(t) = Σ[r=1 to R] A_r(t)cos(θ_r(t)) + e(t)

X(k,m) = Σ[n] s(n)w(n-mH)e^(-j2πkn/N)

抛物线插值：
k_interp = k_max + 0.5 * (|X(k_max-1)| - |X(k_max+1)|) / 
                        (|X(k_max-1)| - 2|X(k_max)| + |X(k_max+1)|)

f_inst = f_prev + unwrap(φ_curr - φ_prev) / (2πT_hop)

预测：f_pred(m+1) = 2f(m) - f(m-1)
匹配：如果 |f_candidate - f_pred| < Δf_max，则连接

E(k,m) = X(k,m) - Σ[r] A_r(m)W(k - k_r(m))

LPC分析：e(n) = s(n) - Σ[p=1 to P] a_p * s(n-p)
谱包络：H(ω) = 1 / |1 + Σ[p=1 to P] a_p * e^(-jωp)|

Noise(k) = |E_envelope(k)| * e^(jφ_random(k))

f'_r(t) = α * f_r(t)  // α是音高缩放因子
保持谱包络：A'_r(t) = A_r(t) * Envelope(f_r(t)) / Envelope(f'_r(t))

时间映射：t' = β * t  // β是时间缩放因子
参数插值：A'_r(t') = interp(A_r(t), t/β)

频率扭曲：f'_r = warp(f_r)  // 非线性频率映射
幅度缩放：A'_r = A_r * G(f_r)  // 频率相关增益

s(t) = s_transient(t) + s_steady(t) + s_noise(t)

E(m) = Σ[n] |s(n+mH)|^2 * w(n)
ΔE(m) = E(m) - E(m-1)
瞬态位置：当 ΔE(m) > θ_energy

SF(m) = Σ[k] H(|X(k,m)| - |X(k,m-1)|)
其中 H(x) = (x + |x|)/2  // 半波整流

PD(k,m) = princarg(φ(k,m) - 2φ(k,m-1) + φ(k,m-2))
瞬态度：T(m) = Σ[k] |PD(k,m)| * |X(k,m)|

短窗（5ms）：捕获锐利音头
中窗（20ms）：捕获打击包络
长窗（50ms）：区分瞬态与稳态

掩蔽阈值：M(f) = max(ATH(f), Σ[h] SPL(f_h) * SF(f,f_h))
其中 ATH是绝对听阈，SF是扩散函数
保留条件：|X(f)| > M(f)

谐波锁定：f_h = h * f_0 * (1 + δ_h)
其中 δ_h 是非谐性偏差（<1%）

H_comb(z) = (1 - z^(-P)) / (1 - α*z^(-P))
其中 P = fs/f_0 是基音周期

Bark尺度划分：24个临界带
每带参数：{中心频率, 带宽, 能量, 调制深度}

预测误差：e(n) = s_noise(n) - Σ[p] a_p * s_noise(n-p)
白化滤波：W(z) = 1 / A(z)
合成滤波：S(z) = G / A(z)  // G是增益

N_shaped(f) = N_white(f) * sqrt(M(f))

Y(ω) = |X_A(ω)|^α * |X_B(ω)|^(1-α) * e^(j(β*φ_A(ω) + (1-β)*φ_B(ω)))

1. 提取源包络：E_source = smooth(|X_source|)
2. 提取载体细节：D_carrier = |X_carrier| / E_carrier
3. 合成：Y = D_carrier * E_source

y(n) = Σ[m] x(m) * h(n-m)
频域：Y(ω) = X(ω) * H(ω)

y(n) = Σ[m] x(m) * h(n-m, n)
分段处理：将h分割为短段，交叉淡化

估计原始信号：X_est(ω) = Y(ω) / H(ω)
正则化：X_est(ω) = Y(ω)*H*(ω) / (|H(ω)|^2 + ε)

将长IR分割：h = [h_0, h_1, ..., h_L-1]
每块长度B，总块数L
延迟：B采样
计算复杂度：O(N log B) per sample

混合方案：

- 前B个采样：直接时域卷积
- 后续采样：FFT卷积
过渡处理：精确对齐避免不连续

T = [f_1, A_1, φ_1, ..., f_N, A_N, φ_N, env_params, noise_params]

T_norm[i] = (T[i] - μ[i]) / σ[i]

质心：SC = Σ(f * |X(f)|) / Σ|X(f)|
扩散：SS = sqrt(Σ((f-SC)^2 * |X(f)|) / Σ|X(f)|)
偏度：SK = Σ((f-SC)^3 * |X(f)|) / (SS^3 * Σ|X(f)|)
峰度：KU = Σ((f-SC)^4 * |X(f)|) / (SS^4 * Σ|X(f)|) - 3

c[n] = IDFT(log|DFT(s[n])|)
梅尔倒谱：MFCC = DCT(log(mel_filterbank * |X|^2))

T_morph(α) = (1-α) * T_A + α * T_B
其中 α ∈ [0,1]

f_morph = exp((1-α) * log(f_A) + α * log(f_B))
A_morph = exp((1-α) * log(A_A) + α * log(A_B))

定义度量张量 g_ij
测地线方程：d²x^i/dt² + Γ^i_jk * (dx^j/dt) * (dx^k/dt) = 0
其中 Γ是Christoffel符号

minimize: ∫∫ c(x,y) * π(x,y) dxdy
约束：∫ π(x,y) dy = p_A(x), ∫ π(x,y) dx = p_B(y)

T(x,y) = Σ[i] w_i(x,y) * T_i
权重函数：w_i = exp(-||p-p_i||²/σ²) / Σ[j]exp(-||p-p_j||²/σ²)

协方差矩阵：C = (1/N) * Σ(T_i - μ)(T_i - μ)^T
特征分解：C = V * Λ * V^T
降维表示：T_reduced = V_k^T * (T - μ)

t-SNE目标：minimize KL(P||Q)
其中 P是高维相似度，Q是低维相似度

检测共振峰：F1, F2, F3
插值包络，保持峰值位置
局部缩放：保持带宽比例

D(i,j) = d(x_i, y_j) + min{D(i-1,j), D(i,j-1), D(i-1,j-1)}
回溯找到最优路径
对齐后插值

自相关：R(τ) = Σ s(n) * s(n+τ)
峰值搜索：在[τ_min, τ_max]范围内找最大值
动态规划：确保标记的时间连续性

x_i(n) = s(n + t_i) * w(n)
窗长：2 * local_period
窗函数：Hann或Blackman

音高修改：t'_i = t_i * (f_source / f_target)
时长修改：选择或重复某些窗
重叠相加：y(n) = Σ_i x_i(n - t'_i)

相位一致性：确保窗边界的相位连续
能量归一化：补偿重叠变化导致的增益变化
谱包络保持：使用谱包络估计和补偿

X_i(k) = FFT(x_i(n))
幅度谱：A_i(k) = |X_i(k)|
相位谱：φ_i(k) = angle(X_i(k))

频率缩放：A'_i(k) = A_i(k/α)  // 插值处理
包络保持：应用逆滤波器补偿
相位修正：φ'_i(k) = φ_i(k) * α  // 保持相位连贯

x'_i(n) = IFFT(A'_i(k) * exp(jφ'_i(k)))
输出：y(n) = Σ_i x'_i(n - t'_i)

LPC分析：s(n) = Σ a_p * s(n-p) + e(n)
残差同步：在残差域进行PSOLA
合成滤波：通过修改后的LPC滤波器
优势：更好的共振峰控制

基本结构：
y[t] = Σ[k=0 to K-1] w[k] * x[t-d*k]
其中 d是扩张因子

层次结构：
Layer 1: dilation = 1   (覆盖2采样)
Layer 2: dilation = 2   (覆盖4采样)
Layer 3: dilation = 4   (覆盖8采样)
...
Layer 10: dilation = 512 (覆盖1024采样)

感受野：2^L 采样（L是层数）

z = tanh(W_f * x) ⊙ σ(W_g * x)
其中 W_f是滤波器卷积，W_g是门卷积
⊙ 是逐元素乘法

z = tanh(W_f * x + V_f * h) ⊙ σ(W_g * x + V_g * h)
其中 h是条件向量

上采样：h_upsampled = transposed_conv(h_local)
融合：z = tanh(W_f * x + V_f * h_upsampled) ⊙ σ(W_g * x + V_g * h_upsampled)

编码：x_μ = sign(x) * ln(1 + μ|x|) / ln(1 + μ)
解码：x = sign(x_μ) * ((1+μ)^|x_μ| - 1) / μ
典型值：μ = 255（8位量化）

顶层（帧级）：处理16ms帧
h_frame[t] = GRU(h_frame[t-1], x_frame[t])

中层（样本组）：处理64采样组
h_group[t] = GRU(h_group[t-1], concat(x_group[t], h_frame[t/4]))

底层（采样级）：生成单个采样
y[t] = MLP(concat(x[t-1:t-k], h_group[t/64]))

优势：

- 长程依赖建模
- 计算效率高于WaveNet
- 自然的层级表示

挑战：

- 训练不稳定
- 需要仔细的初始化
- 推理仍然较慢

知识蒸馏：
L = α * L_CE(y_student, y_true) + (1-α) * L_KL(y_student, y_teacher)

量化：
INT8推理，动态范围调整
查找表近似非线性函数

WaveNet并行生成：
使用IAF（Inverse Autoregressive Flow）
或Parallel WaveNet（概率密度蒸馏）

增量计算：
保存中间激活值
只计算新采样的贡献
循环缓冲区管理

合成器 = Neural_Encoder(audio) → parameters → DSP_Modules → audio_out
损失 = ||audio_out - audio_target||₂ + perceptual_loss

y(n) = Σ[k=1 to K] A_k(n) * sin(2π * Σ[m=0 to n] f_0(m) * k / f_s)

可微分实现：

- 累积相位：φ_k(n) = cumsum(2π * f_0(n) * k / f_s)
- 幅度插值：A_k 通过线性或三次样条插值到音频率
- 反向传播：通过sin和cumsum的梯度

噪声生成：n(t) ~ N(0,1)
时变滤波：y(t) = Σ h(τ,t) * n(t-τ)

可微分FIR实现：

- 频率响应：H(ω,t) = Neural_Network(context)
- 冲激响应：h(t) = IFFT(H(ω,t))
- 窗函数：h_windowed = h * window

可微分卷积混响：
IR(t) = decay(t) * Σ[i] A_i * δ(t - t_i)

参数化：

- 早期反射：{t_i, A_i} 由网络预测
- 后期混响：指数衰减 * 高斯噪声
- 频率相关衰减：每个频带独立RT60

CREPE-style CNN：
Input: 1024-sample window
Conv1: 1024 → 2048, kernel=512, stride=4
Conv2-6: 逐层减半时间维度
Output: 360-bin pitch probability

可微分argmax：
f_0 = Σ[i] p_i * f_i  // 期望值而非硬argmax
置信度加权：f_0_final = confidence * f_0_pred + (1-confidence) * f_0_prior

A-weighting滤波：
H_A(f) = 12194² * f⁴ / ((f²+20.6²) * sqrt((f²+107.7²)(f²+737.9²)) * (f²+12194²))

RMS计算：
L_RMS = sqrt(mean(s²))
L_dB = 20 * log10(L_RMS)

感知响度（可选）：
使用Zwicker模型或简化版本

多尺度特征提取：

- 短窗（5ms）：瞬态特征
- 中窗（25ms）：谱包络
- 长窗（100ms）：时间演化

架构示例：
z = GRU(MelSpectrogram(audio))
z_quantized = VQ-VAE(z)  // 可选：离散音色空间

L_spec = Σ[s in scales] ||log(|STFT_s(y)| + ε) - log(|STFT_s(y_target)| + ε)||₁

尺度选择：

- FFT sizes: [2048, 1024, 512, 256, 128]
- Hop sizes: [512, 256, 128, 64, 32]

PYIN基频差异：
L_f0 = ||f_0_pred - f_0_target||₂ * confidence_weight

响度匹配：
L_loudness = ||L_pred - L_target||₂

相位一致性（可选）：
L_phase = 1 - cos(φ_pred - φ_target)

判别器：多尺度判别器（MSD）或多周期判别器（MPD）
生成器损失：L_G = L_recon + λ_adv * L_adv + λ_feat * L_feat
特征匹配：L_feat = Σ[l] ||D_l(y) - D_l(y_target)||₁

编码器提取内容：z_content = Encoder(x_source)
解码到目标音色：y = Decoder(z_content, z_timbre_target)
循环一致性：x_recon = Decoder(Encoder(y), z_timbre_source)

输入：mel-spectrogram或其他声学特征
DDSP解码：

- f_0, loudness = MelToControls(mel)
- harmonics = HarmonicSynth(f_0, loudness, z_timbre)
- noise = FilteredNoise(loudness, z_timbre)
- output = harmonics + noise

条件输入：

- 乐谱：note_sequence → (pitch, velocity, timing)
- 风格：style_embedding
- 表现力：expression_curves

合成流程：
controls = NoteToControls(notes, style, expression)
audio = DDSP_Synth(controls)
audio_final = Reverb(audio, room_params)