本章深入探讨NPU性能分析与优化的方法论和实践技术。我们将从性能建模的理论基础出发，学习如何识别系统瓶颈，并通过具体的优化案例掌握性能调优的核心技术。对于200 TOPS级别的NPU设计，性能优化不仅关乎计算效率，更涉及功耗、面积、带宽等多维度的权衡。本章将帮助读者建立系统化的性能分析思维，掌握从微观到宏观的优化策略。
在现代AI加速器设计中，性能优化贯穿整个设计流程。从算法映射到硬件架构，从编译器优化到运行时调度，每个环节都蕴含着提升性能的机会。特别是在自动驾驶和具身智能场景下，不仅要追求高吞吐量，还要满足严格的实时性要求。本章将结合实际案例，展示如何在复杂约束下进行性能优化。
性能建模是理解和预测NPU行为的基础。准确的性能模型不仅能指导架构设计决策，还能帮助软件栈进行优化选择。现代NPU的复杂性要求我们采用多种建模方法，从不同层次和角度分析性能特征。在自动驾驶场景中，我们需要同时满足感知算法的高吞吐量需求（如BEVFormer的多相机融合）和规控算法的低延迟要求（如轨迹预测的10ms响应时间）。对于具身智能的VLM/VLA模型，变长序列和多模态融合带来了新的建模挑战。
性能建模的核心挑战在于准确性与效率的平衡。过于详细的模型虽然准确但计算开销大，难以用于设计空间探索；过于简化的模型虽然快速但可能忽略关键的性能瓶颈。实践中，我们通常采用分层建模策略：在架构探索阶段使用解析模型快速评估数千种配置，在详细设计阶段使用周期精确仿真验证关键路径，在部署优化阶段使用机器学习模型进行自动调优。
解析模型通过数学公式描述系统性能，提供快速的性能预估。这种方法的优势在于计算速度快，能够快速探索大量设计空间。对于NPU系统，我们需要建立多层次的性能模型，涵盖计算、存储、互连等关键子系统。解析模型的本质是对硬件行为的数学抽象，通过简化假设将复杂的微架构行为归纳为可计算的公式。
解析模型的构建需要深入理解硬件架构和算法特征。我们需要识别影响性能的关键参数，建立参数与性能之间的数学关系。虽然解析模型不可避免地会引入简化假设，但通过合理的抽象层次选择，仍能为设计决策提供有价值的指导。关键是要识别哪些细节对性能影响显著必须保留，哪些细节可以安全地忽略。例如，对于计算密集型算子，我们可以忽略控制流开销；但对于小矩阵乘法，控制开销可能占主导地位。
解析模型的准确性依赖于对工作负载特征的深入理解。不同的AI模型具有截然不同的计算和访存模式。CNN模型具有规则的计算模式和良好的数据局部性，适合用简单的解析模型描述。Transformer模型的注意力机制引入了动态的访存模式，需要更复杂的建模。稀疏网络的不规则计算模式使得解析建模更具挑战性，通常需要统计方法来估计平均性能。
NPU的核心是高效的矩阵运算单元。对于矩阵乘法操作 $C = A \times B$，其中 $A \in \mathbb{R}^{M \times K}$，$B \in \mathbb{R}^{K \times N}$，我们需要建立精确的性能模型。在200 TOPS的设计目标下，我们需要仔细分析如何达到这个算力水平。以INT8精度为例，200 TOPS意味着每秒执行200万亿次操作。若采用1GHz的工作频率，需要200K个并行MAC单元；若提升到2GHz，则需要100K个MAC单元。这种规模的计算阵列对芯片面积和功耗都提出了巨大挑战。
理论计算时间可以表示为： \(T_{compute} = \frac{2MNK}{P \cdot f \cdot \eta_{util}}\)
其中：
实际设计中，我们需要在MAC单元数量和频率之间做权衡。增加MAC单元会增大芯片面积和静态功耗，但可以降低工作频率从而减少动态功耗。提高频率可以减少所需的MAC单元数量，但会增加单位MAC的功耗，并可能遇到时序收敛问题。对于7nm工艺，平衡点通常在1.5GHz左右，此时200 TOPS需要约133K个MAC单元。
硬件利用率受多个因素影响。对于脉动阵列架构，利用率主要取决于问题规模与硬件规模的匹配程度： \(\eta_{util} = \min\left(1, \frac{M}{M_{array}}\right) \times \min\left(1, \frac{N}{N_{array}}\right) \times \eta_{pipeline}\)
这个公式揭示了一个重要的设计权衡：大的阵列能够提供更高的峰值性能，但在处理小矩阵时利用率会下降。例如，256×256的脉动阵列在处理128×128的矩阵时，利用率仅为25%。这在处理深度可分离卷积或pointwise卷积时尤为明显。因此，现代NPU设计通常采用多个较小的阵列而非单个大阵列，通过灵活的互连实现可重构。
流水线效率 $\eta_{pipeline}$ 反映了启动延迟和排空延迟的影响： \(\eta_{pipeline} = \frac{K}{K + L_{startup} + L_{drain}}\)
其中 $L_{startup}$ 和 $L_{drain}$ 分别是流水线的启动和排空延迟，典型值为阵列维度的大小。对于深度128的脉动阵列，启动和排空各需要128个周期。当K维度较小时（如K=256），流水线效率仅为50%。这解释了为什么某些NPU设计采用更浅的流水线或支持流水线折叠技术。
对于实际工作负载，我们还需要考虑批处理维度的影响。当处理批量数据时，可以通过合理的调度提高硬件利用率。批处理效率可以建模为： \(\eta_{batch} = 1 - \frac{T_{switch}}{T_{batch} + T_{switch}}\)
其中 $T_{switch}$ 是批次切换开销，包括数据加载和状态切换时间。在自动驾驶场景中，典型的batch size为1（实时推理），这意味着批处理优化的机会有限。但在训练或离线推理场景中，较大的batch size（如32或64）可以显著提高效率。
稀疏性对计算模型的影响也不容忽视。对于2:4结构化稀疏，理论上可以获得2倍加速，但实际效果取决于硬件实现： \(T_{compute\_sparse} = \frac{2MNK \cdot (1-s)}{P_{sparse} \cdot f \cdot \eta_{util\_sparse}}\)
其中$s$是稀疏率（对于2:4稀疏，$s=0.5$），$P_{sparse}$是支持稀疏的MAC单元数，$\eta_{util_sparse}$考虑了稀疏索引和不规则访问的开销。实践中，由于索引开销和负载不均衡，2:4稀疏的实际加速比通常在1.3-1.7倍之间。
存储系统是NPU性能的关键瓶颈之一。现代NPU采用多级存储层次，每一级都有不同的容量、带宽和延迟特征。准确的存储带宽建模需要考虑数据重用、访问模式和冲突等因素。对于200 TOPS的NPU，假设算术强度为100 OPs/Byte（典型的CNN工作负载），则需要2TB/s的内存带宽。这远超当前HBM3的能力（约1TB/s），因此必须通过片上缓存和数据重用来减少外部带宽需求。
存储层次的设计直接影响系统性能。典型的三级存储架构包括：寄存器文件（RF，容量几KB，带宽>10TB/s）、片上SRAM（L1/L2，容量几MB，带宽几TB/s）、片外DRAM/HBM（容量几GB，带宽几百GB/s）。每一级的容量、带宽、能耗呈指数级变化。访问1字节SRAM的能耗约为1pJ，而访问DRAM需要100pJ，相差两个数量级。这种能耗差异驱动了数据局部性优化的重要性。
数据传输时间的基本模型： \(T_{memory} = \frac{D_{input} + D_{weight} + D_{output}}{BW_{effective}}\)
但这个简单模型忽略了很多实际因素。更准确的模型需要考虑数据布局、访问粒度和并发度： \(T_{memory} = \max\left(\frac{D_{input}}{BW_{input}}, \frac{D_{weight}}{BW_{weight}}, \frac{D_{output}}{BW_{output}}\right) + T_{conflict}\)
有效带宽不等于峰值带宽，需要考虑多个折损因素： \(BW_{effective} = BW_{peak} \times \eta_{bus} \times (1 - p_{conflict})\)
其中：
总线利用率的详细分析揭示了协议开销的影响。DDR协议的命令/地址开销约占20%，数据传输的前导码和校验占10%。对于小粒度随机访问，利用率可能降至30%。HBM通过更多的并行通道（1024位vs 64位）缓解了这个问题，但代价是更高的成本和功耗。
对于多Bank存储系统，冲突概率可以通过排队论模型估算： \(p_{conflict} = 1 - \prod_{i=1}^{N_{access}} \left(1 - \frac{i-1}{N_{banks}}\right)\)
实际系统中，Bank冲突的模式更复杂。以16个Bank为例，如果访问步长是2的幂次（常见于张量操作），所有访问可能集中在少数几个Bank，导致严重冲突。解决方案包括：Bank交织（interleaving）、素数Bank数量、XOR-based哈希等。现代NPU通常采用素数个Bank（如17或31）来打破规律性访问模式。
数据重用是提高有效带宽的关键。对于卷积等具有良好局部性的操作，可以通过tiling优化提高数据重用率： \(Reuse_{factor} = \frac{T_m \times T_n \times T_k}{(T_m + M_{halo}) \times (T_n + N_{halo}) \times T_k}\)
其中 $T_m$、$T_n$、$T_k$ 是tile尺寸，$M_{halo}$、$N_{halo}$ 是由于卷积窗口导致的halo区域。
数据重用的优化需要考虑不同的dataflow。Weight-stationary适合权重较小的FC层，Output-stationary适合深度卷积，Row-stationary在各种工作负载下都有较好表现。对于Transformer的注意力机制，KV-cache的重用模式与CNN完全不同，需要特殊的优化策略。在自动驾驶的BEVFormer中，多尺度特征的重用可以显著减少带宽需求。
实际应用中，我们更关心端到端的推理延迟。这需要考虑计算和访存的重叠、多级流水线的效果以及控制开销。在自动驾驶场景中，端到端延迟直接决定了系统的反应时间。例如，以60km/h行驶的车辆，100ms的延迟意味着1.67米的制动距离差异。因此，自动驾驶系统通常要求感知算法在30-50ms内完成，留给规控的时间窗口仅有10-20ms。
端到端延迟的建模需要考虑整个推理流程的各个环节。从传感器数据输入到最终决策输出，包括数据预处理、神经网络推理、后处理等多个阶段。每个阶段都可能成为瓶颈。例如，BEVFormer的多视角图像预处理（畸变校正、透视变换）可能占总延迟的20%；NMS后处理在密集场景下可能占30%。这些”非神经网络”部分往往被忽视，但对系统性能至关重要。
单层的执行时间考虑计算和访存的重叠： \(T_{layer} = \max(T_{compute}, T_{memory}) + T_{overhead}\)
这个公式体现了冯诺依曼架构的根本限制：计算和访存不能完全重叠。现代NPU通过双缓冲（double buffering）技术部分缓解这个问题。当计算单元处理第n个tile时，DMA同时加载第n+1个tile的数据。理想情况下，如果计算时间等于数据传输时间，可以完全隐藏访存延迟。但实际中，不同层的计算访存比差异很大，很难达到完美平衡。
控制开销 $T_{overhead}$ 包括指令译码、地址生成、同步等： \(T_{overhead} = T_{decode} + T_{addr\_gen} + T_{sync}\)
控制开销在小batch推理时尤为显著。对于batch=1的推理，每层的启动开销可能达到微秒级，而实际计算仅需几微秒。这解释了为什么某些NPU采用硬件调度器而非软件调度，可以将控制开销降低一个数量级。Groq的TSP通过完全静态调度，在编译时确定所有控制决策，运行时零开销。
对于多层网络，层间可以通过流水线实现重叠执行： \(T_{network} = \sum_{i=1}^{L} T_{layer_i} - \sum_{i=1}^{L-1} \Delta T_{overlap_i}\)
重叠时间取决于数据依赖和缓冲区大小： \(\Delta T_{overlap_i} = \min(T_{layer_i}, T_{layer_{i+1}}, \frac{Buffer_{size}}{DataRate})\)
层间流水线的效率取决于各层的计算时间是否均衡。在ResNet中，不同层的计算量相差可达100倍（第一层vs最后一层）。这种不均衡限制了流水线效率。一种解决方案是层融合（layer fusion），将多个小层合并执行。另一种是动态负载均衡，根据层的计算量动态分配硬件资源。
对于Transformer等包含复杂依赖的网络，需要考虑注意力机制的特殊性： \(T_{transformer} = T_{QKV\_proj} + T_{attention} + T_{FFN} + T_{residual}\)
其中注意力计算的时间复杂度与序列长度的平方成正比，这在长序列处理时会成为主要瓶颈。
Transformer的延迟优化需要特别考虑KV-cache的管理。在自回归生成中，每个token需要访问之前所有token的K和V。对于GPT-3规模的模型（d=12288，layers=96），KV-cache可达几GB。如何高效管理这些数据是关键挑战。PagedAttention通过虚拟内存技术优化KV-cache的存储，可以提升2-3倍的吞吐量。
批处理对延迟的影响也需要仔细建模。虽然增大batch size可以提高吞吐量，但也会增加单个请求的延迟： \(T_{batch} = T_{single} \times \left(1 + \alpha \log_2(B)\right)\)
其中$\alpha$是批处理开销系数，典型值为0.1-0.2。这个对数关系反映了并行执行的收益递减规律。
周期精确仿真提供详细的硬件行为建模，能够准确捕捉微架构级别的行为特征。虽然仿真速度相对较慢，但它是验证解析模型准确性和发现性能异常的重要工具。对于NPU设计，周期精确仿真器需要建模计算单元、存储系统、互连网络等所有关键组件的时序行为。一个完整的NPU仿真器可能包含数百万行代码，仿真速度通常只有实际硬件的1/10000到1/1000。
仿真精度与速度的权衡是永恒的主题。RTL级仿真最准确但速度极慢（<1K周期/秒），只适合验证关键模块。事务级建模（TLM）将精度降低到周期级，速度提升到100K-1M周期/秒，适合全芯片仿真。功能级仿真忽略时序细节，速度可达10M周期/秒以上，但无法发现性能问题。实践中，我们通常采用混合精度仿真：关键路径用周期精确模型，非关键部分用功能模型。
现代NPU仿真器通常采用事件驱动或周期驱动的仿真框架。事件驱动适合建模异步行为和稀疏事件，而周期驱动更适合同步设计和密集计算。对于脉动阵列等高度同步的架构，周期驱动仿真通常更高效。SystemC和gem5是常用的仿真框架，提供了丰富的建模原语和调试接口。对于200 TOPS级别的NPU，完整仿真一个ResNet-50推理可能需要几小时到几天。
NPU仿真器的核心架构包括指令流水线、执行单元和存储子系统的精确建模：
┌─────────────┐ ┌─────────────┐ ┌─────────────┐
│ Fetch │────▶│ Decode │────▶│ Execute │
└─────────────┘ └─────────────┘ └─────────────┘
│ │ │
▼ ▼ ▼
┌─────────────┐ ┌─────────────┐ ┌─────────────┐
│ I-Cache │ │ Scheduler │ │ Compute │
└─────────────┘ └─────────────┘ │ Units │
└─────────────┘
│ │ │
▼ ▼ ▼
┌─────────────────────────────────────────────────────┐
│ Performance Counters │
└─────────────────────────────────────────────────────┘
仿真器需要准确建模各种微架构特征：
流水线建模：NPU的控制流水线通常包括取指、译码、发射、执行等阶段。每个阶段的延迟和吞吐量都需要精确建模。对于VLIW架构，需要考虑指令包的调度和资源冲突。
数据通路建模：脉动阵列的数据流动具有规律性，需要建模数据在PE间的传递延迟。对于128×128的脉动阵列，数据从一端流到另一端需要128个周期，这种延迟必须准确反映在仿真中。
存储系统建模：多级缓存的命中率、替换策略、一致性协议都会影响性能。仿真器需要维护每一级缓存的状态，跟踪每次访问的命中/缺失情况。MSHR（Miss Status Holding Register）的数量限制了并发缺失处理能力，也需要建模。
互连建模：片上网络的路由延迟、拥塞情况、仲裁策略都会影响数据传输时间。对于2D mesh拓扑，最坏情况下的延迟与网络直径成正比。虚通道的数量影响网络的吞吐量和死锁避免能力。
仿真器在运行过程中收集详细的性能统计数据，这些数据是性能分析和优化的基础。
关键性能指标（KPI）包括：
指令级指标：
计算单元指标：
存储系统指标：
能耗相关指标：
仿真器还需要支持分层统计，能够分别统计不同层、不同算子、不同数据类型的性能指标。这种细粒度的统计对于识别性能瓶颈至关重要。
随着神经网络模型和硬件配置的复杂度增加，传统的解析模型和仿真方法面临挑战。机器学习方法通过从历史数据中学习性能模式，能够快速准确地预测新配置的性能。这种方法特别适合于编译器的自动调优和设计空间探索。
性能预测的准确性很大程度上取决于特征工程的质量。我们需要提取能够反映算法和硬件特征的关键信息。
算法特征：
硬件特征：
映射特征：
特征向量可以表示为： \(\mathbf{x} = [ops_{type}, size_{tensor}, pattern_{access}, config_{hw}, mapping_{params}]\)
为了提高模型的泛化能力，需要进行特征标准化和降维。主成分分析（PCA）或自编码器可以用于提取最重要的特征组合。
不同的机器学习模型适用于不同的预测任务。对于性能预测，常用的模型包括：
线性回归模型： 简单快速，适合特征与性能呈线性关系的场景： \(\hat{T} = \mathbf{w}^T \mathbf{x} + b\)
决策树和随机森林： 能够捕捉非线性关系和特征交互： \(\hat{T} = \sum_{t=1}^{T} \alpha_t h_t(\mathbf{x})\)
神经网络模型： 对于复杂的非线性关系，深度神经网络能够学习更复杂的模式： \(\hat{T} = f_{DNN}(\mathbf{x}; \theta)\)
训练目标通常是最小化预测误差： \(\min_{\theta} \sum_{i=1}^{N} L(T_i, \hat{T}_i) + \lambda R(\theta)\)
其中 $L$ 是损失函数（如MSE或MAE），$R$ 是正则化项（如L2正则化）： \(L_{MSE} = \frac{1}{N}\sum_{i=1}^{N} (T_i - \hat{T}_i)^2\)
迁移学习： 当目标硬件的训练数据有限时，可以从相似硬件的模型开始微调： \(\theta_{target} = \theta_{source} + \Delta\theta\)
模型的训练需要大量的标注数据。这些数据可以通过仿真器生成，也可以从实际硬件测量获得。数据增强技术（如添加噪声、插值等）可以扩充训练集。
模型集成： 组合多个模型的预测可以提高准确性和鲁棒性： \(\hat{T}_{ensemble} = \sum_{m=1}^{M} w_m \hat{T}_m\)
权重 $w_m$ 可以通过验证集性能确定，或使用贝叶斯方法动态调整。
瓶颈识别是性能优化的前提。准确定位系统瓶颈需要综合运用多种分析技术，从不同角度审视系统行为。在NPU系统中，瓶颈可能出现在计算、存储、互连等任何环节，且往往随工作负载动态变化。对于200 TOPS的NPU设计，瓶颈识别尤为关键，因为任何一个子系统的不足都可能导致整体性能无法达标。本节将介绍三种核心的瓶颈识别技术：Roofline分析、关键路径分析和资源利用率分析。
Roofline模型是分析计算密集度和内存带宽限制的经典方法，由Berkeley的Williams等人于2009年提出。它通过一个直观的二维图形，展示了在给定硬件平台上，不同算术强度的程序能够达到的性能上界。Roofline模型的核心洞察是：程序性能受限于计算能力或内存带宽中的较弱者。这个简单而深刻的观察为性能优化提供了清晰的方向。
Roofline模型的数学基础建立在性能、算术强度和带宽的关系上。性能上界由两个限制因素决定： \(P_{max} = \min(P_{peak}, I \times BW_{mem})\)
这个公式定义了性能的”屋顶线”：当算术强度较低时，性能受内存带宽限制（斜线部分）；当算术强度足够高时，性能受计算峰值限制（水平线部分）。两条线的交点称为”ridge point”，其对应的算术强度为： \(I_{ridge} = \frac{P_{peak}}{BW_{mem}}\)
对于200 TOPS的NPU，假设HBM带宽为1TB/s，则ridge point为200 OPs/Byte。这意味着算术强度低于200的算子将受内存带宽限制，这在实际应用中很常见。
算术强度（Arithmetic Intensity）是理解程序性能特征的关键指标： \(I = \frac{\text{FLOPs}}{\text{Bytes Transferred}}\)
算术强度的计算需要仔细考虑数据重用。理论算术强度假设完美的缓存利用，而实际算术强度受缓存大小和替换策略影响。例如，矩阵乘法的理论算术强度为O(N)，但当矩阵无法完全装入缓存时，实际算术强度会显著降低。
对于不同算子的算术强度分析：
GEMM的算术强度： \(I_{GEMM} = \frac{2MNK}{(MK + KN + MN) \times sizeof(dtype)}\)
当M=N=K时，简化为： \(I_{GEMM} = \frac{2N^3}{3N^2 \times sizeof(dtype)} = \frac{2N}{3 \times sizeof(dtype)}\)
这表明GEMM的算术强度与矩阵大小成正比。对于N=1024的INT8 GEMM，算术强度约为683 OPs/Byte，远高于ridge point，因此是计算受限的。但对于小矩阵（如N=32），算术强度仅为21 OPs/Byte，成为内存受限。
Conv2D的算术强度： 卷积的算术强度计算更复杂，需要考虑输入特征图、卷积核和输出特征图的数据传输： \(I_{conv} = \frac{2 \times C_{out} \times C_{in} \times K_h \times K_w \times H_{out} \times W_{out}}{Data_{transferred}}\)
其中数据传输量包括：
对于深度卷积（depthwise convolution），算术强度显著降低： \(I_{depthwise} = \frac{2 \times K_h \times K_w \times H_{out} \times W_{out}}{(H_{in} \times W_{in} + K_h \times K_w + H_{out} \times W_{out}) \times sizeof(dtype)}\)
典型的3×3深度卷积算术强度仅为6-10 OPs/Byte，是严重的内存受限操作。
Attention的算术强度： 自注意力机制包含多个阶段，每个阶段有不同的算术强度： \(I_{attn} = \frac{4N^2d + 2N^2}{(3Nd + 2N^2) \times sizeof(dtype)}\)
当序列长度N较大时，QK^T矩阵乘法的算术强度接近N/2；当N较小时，QKV投影的算术强度接近4d/3。这种变化使得Attention的优化策略需要根据具体参数调整。
现代NPU采用多级存储层次，每一级都有自己的带宽限制。层次化Roofline模型将这种复杂性可视化，帮助识别不同存储级别的瓶颈。
Performance (TFLOPS)
▲
200 ├────────────────────────── Peak Compute
│ ╱─── L1 Cache Roofline (10TB/s)
100 │ ╱╱─────── L2 Cache Roofline (2TB/s)
│ ╱╱─────────── HBM Roofline (1TB/s)
10 │╱╱───────────────── DDR Roofline (100GB/s)
└────────────────────────▶
1 10 100 1000 Arithmetic Intensity (OPs/Byte)
每条斜线代表一个存储级别的带宽限制。程序的实际性能受最低的roofline限制。这个模型揭示了数据局部性的重要性：即使算子的算术强度很高，如果数据频繁溢出到低层存储，性能仍会严重下降。
缓存层次的影响分析：
L1缓存通常最接近计算单元，具有极高的带宽（>10TB/s）但容量有限（<1MB）。对于能够完全在L1中执行的小kernel，性能可以接近峰值。例如，1×1卷积的权重通常很小，可以常驻L1，因此能达到很高的性能。
L2缓存提供了容量和带宽的平衡（几MB容量，几TB/s带宽）。大部分卷积和矩阵乘法的working set可以装入L2。通过合理的tiling，可以将大部分数据访问限制在L2内，避免访问外部存储。
HBM/DDR是片外存储，带宽相对有限但容量大。对于大模型推理，权重通常存储在HBM中。HBM3提供约1TB/s的带宽，相比DDR4的100GB/s有显著提升，但成本和功耗也更高。
关键路径分析是识别程序执行瓶颈的基础技术。在并行系统中，整体执行时间由最长的执行路径决定，即关键路径。对于NPU这样的高度并行系统，关键路径分析帮助我们理解哪些操作序列限制了整体性能，以及增加并行资源是否能带来性能提升。关键路径不仅包括计算操作，还包括数据传输、同步等待等所有影响执行时间的因素。
数据依赖图是进行关键路径分析的基础数据结构。它将程序执行抽象为有向无环图（DAG），清晰地展示操作之间的依赖关系。
构建计算图 $G = (V, E)$，其中：
依赖类型分析：
真数据依赖（RAW - Read After Write）：后续操作需要前序操作的结果。这是最常见的依赖类型，如卷积层的输出作为下一层的输入。 \(v_j \text{ depends on } v_i \Leftrightarrow v_j \text{ reads data produced by } v_i\)
反依赖（WAR - Write After Read）：在流水线执行中，写操作必须等待读操作完成。虽然在函数式的神经网络中较少见，但在原地操作（in-place operation）时需要考虑。
输出依赖（WAW - Write After Write）：多个操作写入同一位置时的顺序约束。在NPU中，这常见于累加操作和reduce操作。
图构建算法：
依赖图的构建需要遍历整个计算图，识别所有的数据流动和控制流动。对于深度学习模型，可以从高层IR（如ONNX、TensorFlow Graph）自动构建：
关键路径长度的计算使用动态规划： \(CP = \max_{path \in G} \sum_{v \in path} latency(v)\)
更精确的表达考虑了边的权重： \(CP = \max_{v \in V} (earliest\_start(v) + latency(v))\)
其中最早开始时间递归定义为： \(earliest\_start(v) = \max_{u \in pred(v)} (earliest\_start(u) + latency(u) + transfer(u,v))\)
关键路径的动态性：
在实际执行中，关键路径可能因为以下因素动态变化：
因此，需要通过profiling收集多次执行的统计信息，识别统计意义上的关键路径。
并行度分析量化了程序的并行潜力，帮助判断增加硬件资源是否能提升性能。
理论并行度： \(P_{max} = \frac{Total\_Work}{Critical\_Path\_Length}\)
这个指标表示在无限资源下能达到的最大加速比。对于典型的CNN，理论并行度可达数千；但对于RNN等序列模型，由于时间步之间的依赖，并行度受限。
平均并行度： 考虑执行过程中的并行度变化： \(P_{avg} = \frac{\sum_{t} active\_ops(t)}{T_{total}}\)
平均并行度反映了执行过程中的资源利用情况。波动的并行度意味着存在负载不均衡。
实际可达并行度受多个因素限制： \(P_{achievable} = \min(P_{max}, P_{hardware}, \frac{BW_{mem}}{BW_{required}}, P_{sync})\)
其中：
Amdahl定律的应用： 当程序包含串行部分时，加速比受限： \(Speedup = \frac{1}{s + \frac{1-s}{P}}\)
其中$s$是串行部分的比例。对于NPU，串行部分包括：
即使并行部分可以无限加速，串行部分仍会成为瓶颈。这解释了为什么某些模型在大规模NPU上的扩展效率较低。
并行效率分析： \(Efficiency = \frac{Speedup}{P} = \frac{T_1}{P \times T_P}\)
并行效率随着处理器数量增加通常会下降，原因包括：
对于200 TOPS的NPU（约10万个MAC单元），保持50%以上的并行效率是巨大挑战。
资源利用率分析提供了系统效率的直接度量。低利用率意味着硬件资源的浪费，识别利用率瓶颈是优化的第一步。NPU的资源包括计算单元、存储带宽、片上缓存等，每种资源都可能成为瓶颈。
计算资源是NPU最昂贵的部分，其利用率直接影响投资回报。
瞬时MAC利用率： \(\eta_{MAC}(t) = \frac{Active\_MACs(t)}{Total\_MACs}\)
瞬时利用率的时间序列揭示了执行过程中的效率波动。理想情况下，利用率应该保持稳定且接近100%。
平均MAC利用率： \(\eta_{MAC} = \frac{\sum_{t} Active\_MACs(t)}{Total\_MACs \times T_{total}}\)
平均利用率是评估整体效率的关键指标。对于生产环境的NPU，通常目标是达到70%以上的平均利用率。
利用率分解分析： \(\eta_{MAC} = \eta_{mapping} \times \eta_{schedule} \times \eta_{stall}\)
其中：
映射效率的详细分析：
对于脉动阵列，映射效率取决于矩阵维度与阵列大小的关系： \(\eta_{mapping} = \frac{\lceil M/M_{tile} \rceil \times M_{tile} \times \lceil N/N_{tile} \rceil \times N_{tile}}{M \times N} \times \frac{M \times N}{M_{array} \times N_{array} \times \lceil M/M_{tile} \rceil \times \lceil N/N_{tile} \rceil}\)
第一项是padding开销，第二项是硬件利用率。当矩阵维度不是tile大小的整数倍时，需要padding，导致效率损失。
动态负载特征分析：
不同层的计算密度差异很大。在ResNet-50中：
这种不均匀性导致很难在所有层都达到高利用率。
存储系统的效率对NPU性能至关重要，特别是对于内存受限的操作。
缓存命中率： \(Hit\_Rate_L = \frac{N_{hits,L}}{N_{hits,L} + N_{misses,L}}\)
分层的命中率分析：
有效带宽分析： \(BW_{eff} = BW_{peak} \times \eta_{protocol} \times (1 - p_{conflict}) \times \eta_{burst}\)
其中：
存储带宽利用的时间分布：
带宽利用往往呈现突发特征：
平滑带宽需求的技术包括：
Bank冲突的详细分析：
Bank冲突概率与访问模式密切相关： \(p_{conflict} = 1 - \prod_{i=1}^{N_{access}} \left(1 - \frac{occupied\_banks(i)}{Total\_banks}\right)\)
对于stride访问模式：
内存访问模式优化：
不同的数据布局导致不同的访问模式：
选择合适的数据布局可以显著提升缓存命中率和带宽利用率。
Flash Attention通过分块计算和重计算策略优化注意力机制的内存访问模式。
标准自注意力计算： \(\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d}}\right)V\)
内存需求：$O(N^2)$，其中 $N$ 是序列长度。
分块计算，块大小 $B_c$ 和 $B_r$： \(S_{ij} = Q_i K_j^T / \sqrt{d}\) \(m_i = \max(m_i, \text{rowmax}(S_{ij}))\) \(P_{ij} = \exp(S_{ij} - m_i)\) \(O_i = O_i + P_{ij}V_j\)
内存复杂度降低到：$O(N)$
计算复杂度保持：$O(N^2d)$
IO复杂度对比：
其中 $M$ 是SRAM大小。
将卷积操作转换为矩阵乘法，利用高度优化的GEMM实现。
输入张量展开： \(X_{col} \in \mathbb{R}^{(C_{in} \times K_h \times K_w) \times (H_{out} \times W_{out})}\)
卷积核重排： \(W_{col} \in \mathbb{R}^{C_{out} \times (C_{in} \times K_h \times K_w)}\)
卷积计算： \(Y = W_{col} \times X_{col}\)
避免显式Im2col的内存开销，使用即时地址计算： \(addr(n, c, h, w) = base + n \times CHW + c \times HW + h \times W + w\)
对于 $F(m \times m, r \times r)$ Winograd：
例如 $F(2 \times 2, 3 \times 3)$：加速比 = $\frac{36}{16} = 2.25$
将激活函数与前序计算融合，减少内存访问。
常见融合模式：
融合收益分析： \(Speedup = \frac{T_{separate}}{T_{fused}} = \frac{T_{comp} + n \times T_{mem}}{T_{comp} + T_{mem}}\)
对于LayerNorm融合： \(y = \gamma \frac{x - \mu}{\sqrt{\sigma^2 + \epsilon}} + \beta\)
增量计算方差： \(\sigma^2 = \frac{1}{N}\sum_{i=1}^{N}x_i^2 - \mu^2\)
使用Welford算法保证数值稳定性。
本章系统介绍了NPU性能分析与优化的核心技术：
练习15.1：Roofline模型计算 给定一个NPU系统：峰值性能200 TOPS（INT8），内存带宽400 GB/s。计算以下算子的理论性能上界：
提示：先计算每个算子的算术强度，然后应用Roofline公式
练习15.2：利用率分析 一个8×8的脉动阵列处理M=32, N=64, K=128的矩阵乘法。假设采用weight-stationary数据流，计算：
提示：考虑矩阵维度与阵列大小的匹配关系
练习15.3：带宽需求计算 计算Flash Attention相比标准Attention的带宽节省。设序列长度N=2048，特征维度d=64，SRAM大小M=96KB，数据类型FP16。
提示：计算两种方法的HBM访问量
练习15.4：性能建模综合题 设计一个200 TOPS的NPU，需要支持以下工作负载：
请建立性能模型，分析：
提示：分别分析CNN和Transformer的特征，考虑数据重用模式
练习15.5：优化策略选择 给定Attention层：Q,K,V ∈ R^(B×N×d)，B=8（batch），N=1024（序列长度），d=512（特征维度）。硬件限制：SRAM 512KB，HBM带宽 100GB/s，计算能力 100 TFLOPS。
选择最优的优化策略组合：
提示：计算不同策略的时间，选择最快的
练习15.6：关键路径优化 分析下列计算图的关键路径，并提出优化方案：
Input → Conv1 → BN1 → ReLU1 → Conv2 → BN2 → ReLU2
↓ ↓
Pool1 Pool2
↓ ↓
Concat ←──────────────────┘
↓
Linear → Output
每个操作的延迟：Conv=10us, BN=2us, ReLU=1us, Pool=3us, Concat=1us, Linear=5us
提示：识别关键路径，考虑算子融合
练习15.7：功耗优化策略 NPU运行在1GHz，电压1V，动态功耗100W。现需要处理一个延迟敏感任务（10ms deadline）和一个吞吐量任务（批处理）。设计DVFS策略：
提示：计算不同频率下的能量效率
练习15.8：编译器优化决策 编译器需要为以下网络层选择最优实现：
分析每种实现的性能，给出选择依据。
提示：计算不同实现的理论性能和实际开销
陷阱1.1：忽略内存层次的影响
陷阱1.2：理想化的并行度假设
陷阱2.1：只关注计算瓶颈
陷阱2.2：静态分析的局限
陷阱3.1：过度优化局部
陷阱3.2：忽视优化的副作用
陷阱4.1：理论与实现的差距
陷阱4.2：忽略数据布局的影响