内功法门

你踏入内功殿时，空气里漂浮的不是数据、不是模型，而是箭头——成千上万个细小的梯度箭头，像溪流一样沿一面看不见的山坡向下流淌。殿中石碑刻着四个字：内功法门。

高斯老祖

「你学了四年招式——线性代数、概率统计、机器学习、深度学习。但招式要有内力驱动。内力，就是最优化。」

局部最优之阱

「我赌——在你走完这章之前，至少有一次，你会找到一个谷底，然后停下来说'到了'。每一次，我都长大一分。」

左径尽头是一片光滑如碗的曲面，通体泛着暖光。你在碗壁任何位置放一颗珠子，它都会滚向同一个底——不多不少，只有一处最低点。

高斯老祖

「这片地形叫凸域。它的规矩很简单：任取两点连一条弦，弦不会掉到曲面下方。满足这条，任何谷底都是唯一的真底。」

凸碗壁上出现一颗珠子。高斯老祖递给你一个旋钮——步长 η。

高斯老祖

「别问公式。先转旋钮，让珠子滚下去。」

局部最优之阱

「下山嘛，谁不会。问题是——你下到了哪个底？」

凸碗旁边那片山峦的雾散尽了。沟壑纵横，深浅不一——有的谷底深不见底，有的只是路边一个浅坑。高斯老祖把珠子放在山脊高处："用你刚学的梯度下降。走。" 珠子顺坡滑下，滑进最近的一个凹处——停住了。梯度为零。

局部最优之阱

「舒服吗？梯度为零，风平浪静。你觉得到了底——我也觉得。那边那个谷比你深八倍。」

还是那片非凸山峦，但高斯老祖递给你一个新旋钮——"批量大小 B"。

高斯老祖

「你之前用的是全量梯度——所有数据算一个精确梯度。方差为零。但方差为零，也意味着零逃逸。现在，只用一个样本算梯度。它会抖。但抖，有时候是好事。」

非凸山峦旁多出一排法器架：三件法器悬在架上，各泛微光。高斯老祖："纯 SGD 像一个没有记忆的人——每一步只看当下。给他三件东西。" 第一件：一只蓄力球——动量。第二件：一双自适应鞋——逐参数调步长。第三件：一只沙漏——学习率调度。

山峦旁出现一面透镜——曲率之眼。透过它，你看到的不再是坡度，而是曲面弯曲的方式：凸处泛蓝光（H 正定），凹处泛红光（H 负定），鞍点处蓝红交错（H 不定）。高斯老祖在一个完美的二次碗上放了一颗珠子："试。" 珠子一步——只一步——就到了碗底。

局部最优之阱

「二阶？好。让我看看 Hessian 的符号。正定？负定？还是——不定？你信了曲率，曲率把你送上了坡。」

山峦尽头出现一道半透明的墙——约束边界 g(x)≤0。墙的另一侧是不可行区域。高斯老祖："你之前在自由空间里找最低点。现在——最低点可能在墙边，也可能被墙挡住。你怎么找？" 墙面上浮现一个旋钮——拉格朗日乘子 λ。

高斯老祖

「λ 是约束的'价格'。你愿意付多少代价来松绑这条约束？」

约束墙旁出现一面镜子——对偶之镜。镜中映出的不是曲面本身，而是它的"影子问题"。高斯老祖："每个约束优化问题都有两面——原始问题 min f(x) 和对偶问题 max g(λ)。凸+Slater 条件下，两面给出的答案完全一样——强对偶。" 镜子旁，曲率透镜重新亮起。

高斯老祖

「还记得鞍点吗？它在高维曲面上的数量——比你想象的多得多。你怕了半天的敌人，在高维里根本没几个。」

曲面深处的浓雾凝成一张巨大的、没有五官的脸——它由无数个微小的"∇f=0"符号组成，密密麻麻，像一窝安息的蛇。

局部最优之阱

「我是局部最优之阱。我不住在你的错误里——错误救不了我。我住在你'梯度为零就停手'的满足里。三问。答错一题，曲面就暗一分。」

阱散尽时，本命损失曲面晶体上的两道裂纹被琥珀光一点一点填满——伤痕闭合，曲面比先前更亮。不是它变了，是你变了。

高斯老祖

「你内功初成了。但——你学了这么多优化器，梯度从哪来？你算 ∇f，可 f 是一个有百万参数的神经网络时，百万维梯度怎么算？下一章，那叫反向传播。」