深度融合

四组训练日志剪影对应方法论的四个环节：问题定义（选对 loss 与指标）→ 训练动力学（优化/正则/归一化）→ 数据（增强/自监督）→ 生成与压缩（VAE/GAN/蒸馏）。方法论的核心不是「哪个模型最强」，而是每个环节都标着 trade-off：优化器拿震荡换逃鞍点的速度，正则拿训练集表现换泛化，归一化拿计算换稳定，蒸馏拿教师依赖换部署成本。「没有免费午餐」（Wolpert & Macready）在工程上的含义：任何先验都要付费——方法论就是把这张账单摊开在桌面上，再签字。

SGD：θ←θ−η∇L，无记忆，方向带噪但泛化常更好；Momentum：v←βv+∇L、θ←θ−ηv（β≈0.9），惯性冲过鞍点、在峡谷里压制横向震荡；Adam：一阶矩 m 与二阶矩 v 各自滑动平均，步长逐参数自适应（η/√v̂），逃鞍点最快，但接近收敛时步长偏大易在平坦区震荡；AdamW：把权重衰减从梯度中解耦（衰减项不再被 v̂ 缩放），大 batch 训练的默认正解。经验数值：Adam 前期收敛快 2~5 倍，SGD+Momentum 调好后最终泛化常再高 0.5~1%。实验台里 SGD/Momentum 卡在鞍点、Adam/AdamW 借二阶矩信息绕过——梯度≈0 处，只有自适应步长还知道往哪走。

高维空间的临界点几乎全是鞍点（Dauphin et al. 2014）：n 维参数下局部最优要求 Hessian 全正，其概率随 n 指数级衰减——「卡住」的元凶是鞍点而非局部最优。平坦 vs 尖锐极小值（Keskar et al. 2016）：平坦盆地对参数扰动鲁棒，分布偏移下泛化更好；SGD 的梯度噪声天然把轨迹推离尖锐盆，Adam 的大步长则更容易停进尖锐处。可视化口径：真实网络画不出 n 维地形，3D loss landscape 都是沿两个随机方向切片的二维投影——四个标注点（鞍点/局部最优/平坦/尖锐）就是这张投影图的路标。

L1（λ|w|）：梯度恒为 ±λ，小权重被持续推向零 → 稀疏解、可做特征选择，对应拉普拉斯先验；L2（λw²）：梯度 ∝ w，权重越大压得越狠 → 整体收缩、输出更平滑，对应高斯先验；标签平滑（Szegedy et al. 2016）：把 hard label [1,0] 换成 [1−ε, ε/K]（ε=0.1 常用），禁止 logit 无限放大，改善校准与过自信。经验：L2（配合 AdamW 解耦）几乎总是有益，L1 留给需要稀疏/可解释的场景。实验台权重直方图里 L1 中央塌成尖峰、L2 高斯收缩——就是两种先验在权重空间的投影；双 loss 曲线呈 U 形：强度太弱过拟合、太强欠拟合，谷底（约 0.4）才是折中点。

Mixup（Zhang et al. 2018）：x̃=λx_i+(1−λ)x_j、标签同比例混合，λ~Beta(α,α)，α=0.2~0.4 常用——线性插值先验让决策边界变软；CutMix（Yun et al. 2019）：裁一块图 B 贴到图 A 上、标签按面积比分配——保留局部纹理，对检测/定位比 Mixup 更友好；AutoAugment（Cubuk et al. 2019）：把「用哪些增强、什么幅度」当搜索空间用 RL 搜策略，后续 RandAugment 改成随机采样，把几千 GPU 时的搜索成本降到零。三者共同本质：在输入空间注入「邻域应同类」的结构先验——与 L2 在权重空间做的事互为镜像。

BN（Ioffe & Szegedy 2015）：沿 batch 维算 μ_B/σ_B，估计噪声 ∝ √(2/(N−1))（N=batch size），训练/推理两套统计（running mean/var）；LN（Ba et al. 2016）：沿特征维归一化，与 batch 无关，RNN/Transformer 的标配；GN（Wu & He 2018）：通道分组归一化，统计量只在组内算——小 batch 检测/分割任务的折中；RMSNorm（Zhang & Sennrich 2019）：去掉均值中心化，只留 x/RMS(x)·γ，少一次统计、少一个 β——LLaMA 等现代 LLM 的选择。演进逻辑：从「完整统计」到「够用统计」，每砍一刀都在换速度与稳定。S3 崩塌复现的数字：batch=2 时方差估计相对标准误 √(2/1)≈141%，统计量失真到 loss 跳 NaN。

自监督 = 用无标注数据自造监督信号：旋转预测（0/90/180/270 四分类）、拼图重排（9 块排列预测）、灰度化上色（L→RGB 回归）。范式三步：pretext 预训练 → 下游迁移微调。pretext 的结构性局限：代理任务与语义目标错位——模型可以完美预测旋转，却完全不懂「猫」。对比学习跳过「出题」直接定义目标：同一张图的两个增强视图拉近、不同图的视图推开，表征学习本身成为目标。LeCun 的蛋糕比喻：若智能是蛋糕，自监督是蛋糕本体，监督学习只是糖霜。

SimCLR（Chen et al. 2020）：batch 内 2N 个视图两两配对，NT-Xent 损失（温度 τ≈0.1~0.5，分母=其余 2N−2 个负样本），效果随负样本数单调上升 → batch 4096 才能打满，多卡大显存门槛；MoCo（He et al. 2020）：负样本装进 65536 大小的队列，队列 key 由动量编码器生成（k←m·k+(1−m)·θ，m=0.999）——表征缓慢一致，单卡也能用海量负样本。实验台 queue 滑杆 256→65536：线性评估 Top-1 从 50% 沿对数曲线爬到 69.3%（SimCLR ResNet-50 1000ep 水平）——收益递减，但队列规模换来的是「负样本多样性」这个硬通货。

普通 AE 只学压缩，潜空间没有结构——随机采一个点解码出噪声；VAE 让编码器输出分布 q(z|x)=N(μ,σ²)，并用 KL 项把潜空间压向先验 N(0,I)，于是任意采样点都能解码出合理样本。代价与收益成对出现：高斯假设 + 重建项 → 输出趋于均值 → 模糊；连续光滑潜空间 → 向量算术可插值（人脸加减法）。β-VAE：L=重建+β·KL，β=4~10 时潜维度解耦（每维对应独立语义因子），代价是重建更糊——β 旋钮拖的就是这条权衡轴。

断点：z~N(μ,σ²) 的采样不可微，梯度断在 z。重参数化：z=μ+σ⊙ε、ε~N(0,1)——随机性挪进与参数无关的 ε，∂z/∂μ=1、∂z/∂σ=ε，梯度连通。ELBO 五步：目标 log p(x) → 引入 q(z|x) → 恒等分解 log p(x)=ELBO+KL(q‖p) → 变分下界 log p(x)≥ELBO → ELBO=E_q[log p(x|z)]−KL(q(z|x)‖p(z))。两项分工：重建项训解码器，KL 项规整潜空间。注意 ELBO 是下界——最大化 ELBO 不等于最大化 log p(x)，但两者同向；这就是「变分推断」的全部交易：拿一个算得动的下界，换一个算不动的边际似然。

min_G max_D E[log D(x)]+E[log(1−D(G(z)))] 是零和博弈：理论均衡在 p_G=p_data、D≡1/2 的纳什点，但交替梯度下降并不保证收敛到纳什均衡——两个玩家各自沿着对方的脊背爬升，任何一方过强，另一方的梯度信号就退化，这是博弈天平的全部物理。与 VAE 对照：VAE 显式建模 p(x)=∫p(x|z)p(z)dz——覆盖全分布但输出模糊；GAN 隐式对抗——样本锐利但可能整个模式都不生成（漏模式）。一个「算得动但糊」，一个「画得像但漏」。

DCGAN（Radford et al. 2016）：全卷积 G/D + BatchNorm + LeakyReLU——第一份「照着抄就能训」的工程配方；WGAN（Arjovsky et al. 2017）：把 JS 散度换成 Wasserstein 距离（分布搬运的最小代价），分布不重叠时梯度依然连续，代价是 D 必须压在 1-Lipschitz 内（权重裁剪→WGAN-GP 梯度惩罚）；StyleGAN（Karras et al. 2019）：不治稳定、治可控——AdaIN 逐层注入风格向量 w，支持风格混合与潜空间编辑，人脸生成的工业标准。演进各有分工：DCGAN 修架构、WGAN 修度量、StyleGAN 修可控性——但模式崩溃这个病，三家全继承。

不稳定三态：震荡（G/D 交替压制、loss 锯齿）、发散（loss 跳 NaN/Inf——学习率与初始化高度敏感）、模式崩溃（G 收敛到单一模式，Mode Coverage→1%、IS 跌到接近随机水平）。崩溃的博弈论根因：目标函数里没有多样性项——当一种 z→x 映射能稳定骗过 D，G 没有任何动机维护其他模式，「捷径即最优解」。对策谱系全是显式补丁：Minibatch Discrimination（D 看 batch 内相似度）、unrolled GAN（G 前瞻 D 的更新步）、WGAN-GP（梯度连续）、特征匹配——没有银弹，只有把「多样性」以各种形式写回目标函数。

Hinton et al. 2015：soft target p_T=softmax(z/T)，T>1 放大非目标类概率——实验台的数字：logits [8,5,1,0,−1] 在 T=1 时猫约 95%，T=10 时猫 32%/狗 24%/车 16%——非目标类之间的相对比例就是暗知识（「猫狗相似、猫车不相似」）。学生损失 L=α·CE(y,p_S)+(1−α)·CE(p_T^(T),p_S^(T))，师生同温。经验值：T=1~20 都有文献用，学生越小温度应越低——本章场景学生是小生成器，T=3~5 是暗知识信号量与软糊程度的平衡点；α=0.5 起步。效果来源的两种解释：暗知识（类间结构）+ 软目标的正则效应（类似标签平滑）。

量化：FP32→INT8，模型 4× 小、推理快 2~4×，训练后量化（PTQ）精度损失 <1%、量化感知训练（QAT）可压到 ≈0；剪枝：非结构化（逐权重置零，需稀疏算子加速）vs 结构化（整通道剪，模型真变小、无需特殊硬件），Lottery Ticket 假说：稠密网络内存在可独立训练的稀疏子网；蒸馏：压缩比-性能权衡曲线三者中最平缓（90% 压缩仍保 ~95% 性能），但要付教师模型与额外训练。实验台三曲线的形状就是三种病的形状：量化近线性缓降、剪枝 90% 处悬崖、蒸馏二次缓降。三件可叠加：DistilBERT（蒸馏）→INT8（量化）是标准落地链。