硬件炼体

「你训练大模型，以为瓶颈在浮点算力。可 GPU 的算力每年翻倍，显存带宽却增长缓慢——算得再快，数据喂不过来，GPU 就在空转。告诉我，训练大模型最大的瓶颈是什么？先猜，猜错了也没关系，内存墙会记账。」

「CPU 追求低延迟，一个核心把一件事做到极致；GPU 追求高吞吐，上千个核心同时做很多件简单的事。SIMT（单指令多线程）是 GPU 的灵魂——32 个线程组成一个 warp，同一条指令同时执行，只是数据不同。线程块是协作单元，网格是线程块的集合。」

「训练显存 = 权重 + 梯度 + 优化器状态 + 激活。FP32 训练 7B 模型：权重 28GB + 梯度 28GB + 优化器 56GB + 激活 ≈ 120GB+，单卡放不下。混合精度 + Adam 让优化器状态翻倍，但 FP16 权重只要一半——这就是为什么需要 ZeRO 分片。」

「算力利用率 = 实际算力 / 峰值算力。内存墙的本质：算力增长远快于带宽增长，算术密度低的算子（如 element-wise、softmax）变成带宽受限。你堆再多 TFLOPS，带宽跟不上，利用率就上不去。墙不会消失，只会被不断跨越。」

「Roofline 的核心：可达算力 = min(峰值算力, 峰值带宽 × 算术密度)。拐点 = 峰值算力 / 峰值带宽。GEMM 算术密度高，在平顶上——计算受限；element-wise 算术密度低，在斜坡上——带宽受限；Attention 介于两者之间。优化方向完全不同。」

「Tensor Core 是 GPU 的矩阵加速器——一个周期完成 D = A×B + C 的分块矩阵乘加。FP16 吞吐是 FP32 的 8 倍，INT8 是 FP16 的 2 倍，INT4 再翻倍。但低精度意味着精度损失——BF16 保留指数位是深度学习的甜点。GEMM 是大模型训练的核心算子，Tensor Core 把它推到 Roofline 平顶。」

「分布式训练的核心是 AllReduce——所有卡把梯度归约到一起再广播。Ring AllReduce 让每张卡只和邻居通信，通信量 = 2N×梯度大小/N，与卡数无关。NVLink 提供 GPU 间直连（900GB/s），NVSwitch 全互联，InfiniBand 跨节点。拓扑越快，通信占比越低，扩展性越好。」

「能效比 TOPS/W = 峰值算力 / 功耗。H100 的 FP16 能效约 15 TOPS/W，但训练时实际能效远低于峰值——因为利用率低、通信开销、散热损耗。能效之壁的本质：算力增长靠堆功耗，但功耗有物理上限（散热、供电）。提升能效比靠架构创新，不靠堆料。」

「TCO = 硬件采购 + 电力 + 散热 + 运维 + 折旧。H100 单卡 $3 万，小时成本 $2-4（云），训练 70B 模型 2048 卡 3 个月 = 数千万美元。但性价比不只是单卡算力——A100 虽慢但便宜，H100 虽快但贵。性价比 = 有效算力 / 总成本，还要算上利用率。」

「AI 硬件的全部，是在算力、带宽、能效、成本之间寻找系统平衡。内存墙是算力与带宽的鸿沟，Tensor Core 是架构对算力的榨取，互联是多卡对规模的扩展，能效是功耗对算力的约束。没有单点最优，只有系统最优。元婴一层·硬件炼体——你已圆满。但元婴之路的下一块基石，在分布式训练的算法。」