内功法门
你以为梯度下降就能找到全局最优。但非凸 landscape 充满局部最优与鞍点——梯度为零不是"到了"，只是"走不动了"。
内功之门
你踏入内功殿时，空气里漂浮的不是数据、不是模型，而是箭头——成千上万个细小的梯度箭头，像溪流一样沿一面看不见的山坡向下流淌。殿中石碑刻着四个字：内功法门。
高斯老祖
「你学了四年招式——线性代数、概率统计、机器学习、深度学习。但招式要有内力驱动。内力，就是最优化。」
局部最优之阱
「我赌——在你走完这章之前，至少有一次，你会找到一个谷底，然后停下来说'到了'。每一次，我都长大一分。」
直觉之赌 · 曲面拾取 · 双景预览
三选一（无对错，但被阱记账）→ 拾取本命损失曲面 → 凸碗 vs 非凸山峦预览
本命损失曲面 · 拾取
阶上躺着一枚透明晶体，内部隐约可见一片起伏的山峦——那是某个模型的损失曲面。拾起它。
双景预览 · 凸碗 vs 非凸山峦
先走左边那片（凸碗）。那片对你很友好。
凸域 · 谷底即真底
左径尽头是一片光滑如碗的曲面，通体泛着暖光。你在碗壁任何位置放一颗珠子，它都会滚向同一个底——不多不少，只有一处最低点。
高斯老祖
「这片地形叫凸域。它的规矩很简单：任取两点连一条弦，弦不会掉到曲面下方。满足这条，任何谷底都是唯一的真底。」
凸域探索台 · 弦线测试 + 标准形式拼装 + 丢球实验
拖弦判定凸性 → 拼装标准形式 → 凸碗 vs 非凸丢球对比
弦线测试 · 拖动弦在曲线上移动
凸优化标准形式拼装
丢球实验 · 凸碗 vs 非凸山峦
详解 · K05-01 凸集与凸函数：定义与判定
凸集：集合 C 中任取两点 x、y，连线 λx+(1−λ)y（0≤λ≤1）仍在 C 内——直线不穿出。凸函数：定义域凸，且弦在曲线上方：f(λx+(1−λ)y) ≤ λf(x)+(1−λ)f(y)。等价判据：一阶条件 f(y) ≥ f(x)+∇f(x)ᵀ(y−x)（切线在下）；二阶条件 Hessian ⪰ 0（曲率非负）。台上弦线测试四条曲线：f=x² 与 f=|x| 凸（|x| 在 0 处不可导但依然凸——凸性不要求可导）；f=−x² 与 f=x⁴−2x² 非凸，后者的双井结构正是 S3 非凸山峦的雏形。数值验算：f=x² 上取 x=−1、y=1，弦中点高度 (f(−1)+f(1))/2=1，而 f(0)=0 ≤ 1，弦在上方。常见凸函数：指数、幂 xᵖ（p≥1，x≥0）、负对数 −log x；凸函数的非负加权和仍是凸——这是搭建凸优化问题的积木。教材：Boyd & Vandenberghe《Convex Optimization》Ch2-3；花书 Ch4。
详解 · K05-02 凸优化问题的标准形式
标准形式：min f(x) s.t. x∈C，其中 f 凸、C 凸——台上拼装的三块碎片。核心红利：任何局部最优都是全局最优。证明思路：设 x* 局部最优而存在 y∈C 更优，考察连线 x(λ)=λy+(1−λ)x*，凸性给出 f(x(λ)) ≤ λf(y)+(1−λ)f(x*) < f(x*)，与 x* 局部最优矛盾。求解效率：内点法可在多项式时间求解到给定精度——工程上"凸"约等于"可解"。数值例：min x² s.t. x≥1：无约束最优 x=0 不可行，沿可行方向爬到边界 x=1，约束咬合（正是 S7 拉格朗日乘子 λ>0 的情形）；若约束放宽为 x≥−1，无约束解已可行、约束松弛（λ=0）。注意等式约束 h(x)=0 的 h 非仿射时可行域不再是凸集——问题就此跌出凸类。教材：Boyd Ch4；花书 Ch4。
梯度之路 · 顺坡而下
凸碗壁上出现一颗珠子。高斯老祖递给你一个旋钮——步长 η。
高斯老祖
「别问公式。先转旋钮，让珠子滚下去。」
局部最优之阱
「下山嘛，谁不会。问题是——你下到了哪个底？」
梯度下降实验台 · 步长三档 + 公式浮现 + 梯度场
选步长档位 → 观察珠子轨迹 → 公式与收敛界浮现
θ_{t+1} = θ_t - η∇f(θ_t)f(θ_T) - f* ≤ L‖θ₀-θ*‖²/(2T)详解 · K05-03 梯度下降法：原理/收敛性/步长选择
更新规则 θ←θ−η∇f(θ)：负梯度是局部最陡下降方向（一阶泰勒展开下使 f 下降最快的单位向量）。收敛三要素：凸性、L-光滑（梯度李普希茨连续）、步长 η≤1/L。下降引理：f(θ_{t+1}) ≤ f(θ_t) − ‖∇f(θ_t)‖²/(2L)；累加 T 步得 O(1/T) 界：f(θ_T)−f* ≤ L‖θ₀−θ*‖²/(2T)。步长命门（台上三档实验）：一维二次 f=θ²（L=2）上，η=0.5=1/L 时 θ₁=θ₀−0.5·2θ₀=0，一步到碗底；η=0.05 每步收缩因子 1−2η=0.9，约 44 步才到 1% 精度——龟速爬行；η>2/L 时 |1−ηL|>1，序列振荡发散，连凸碗都待不住。多维推广：各方向曲率不同（Hessian 特征值谱），同一 η 在陡方向稳定、在缓方向迟滞——条件数病态问题，也预示了 S6 二阶法的动机。教材：花书 Ch4、Boyd Ch8、d2l Ch11。
非凸之壁 · 第一崩塌
凸碗旁边那片山峦的雾散尽了。沟壑纵横，深浅不一——有的谷底深不见底，有的只是路边一个浅坑。高斯老祖把珠子放在山脊高处："用你刚学的梯度下降。走。" 珠子顺坡滑下，滑进最近的一个凹处——停住了。梯度为零。
局部最优之阱
「舒服吗？梯度为零，风平浪静。你觉得到了底——我也觉得。那边那个谷比你深八倍。」
非凸曲面探索器 · 多起点丢球 + 梯度零点三分类 + 深度对比
选不同起点丢球 → 观察不同终点 → ∇f=0 三种命运 → 深度对比
∇f=0 的三种命运
深度对比
详解 · K05-14 非凸优化挑战：局部最优/鞍点/高原
非凸地形的三种驻点陷阱：局部最优（四面正曲率的井）、鞍点（有逃逸方向的半陷阱）、高原（梯度小到走不动但未停）。三个困难事实：① 一般非凸优化是 NP-hard——不存在多项式时间保证全局最优的算法；② 多起点、噪声扰动、模拟退火都是概率性武器，无确定性保证；③ 深度网络的实证地形比理论悲观预期仁慈：Dauphin 2014《Identifying and attacking the saddle point problem》指出高维局部最优稀少且损失质量未必差，真正拖慢训练的是鞍点。诊断工具链（呼应台上组件）：Hessian 特征值符号判定驻点类型（S3 三分类与 S6 特征值分解）、对偶下界检验近似解差距（S8 对偶之镜）、多起点分布估计盆地结构（S3 多起点丢球）。工程姿势：SGD 噪声+动量+自适应+调度作为默认武器组，早停与验证集监控替代"到了"的幻觉——因为唯一能严格证明"到底"的是对偶间隙为零，而绝大多数时刻它不为零。教材：花书 Ch8、Dauphin 2014。
随机之力 · 噪声即逃逸
还是那片非凸山峦，但高斯老祖递给你一个新旋钮——"批量大小 B"。
高斯老祖
「你之前用的是全量梯度——所有数据算一个精确梯度。方差为零。但方差为零，也意味着零逃逸。现在，只用一个样本算梯度。它会抖。但抖，有时候是好事。」
SGD 逃逸实验台 · 批量大小 + 方差仪表盘 + 收敛对比
切换批量大小 → 观察方差与逃逸 → 收敛曲线对比
方差仪表盘
收敛速率对比
详解 · K05-04 随机梯度下降SGD：方差与收敛速度
全量 GD 每步扫全部 n 个样本算精确梯度：方差为零、每步成本 O(n)。SGD 每步抽一个样本：梯度估计 g_i=∇f_i 无偏（E[g_i]=∇f），但方差 σ²>0。代价与收益翻转：收敛从确定性 O(1/T) 退化为期望意义 O(1/√T)——同精度需平方倍步数；换来的是每步成本降到 1/n，且噪声成为非凸地形上的逃逸资本（台上 B=1 档：珠子大幅抖动却能翻越山脊）。台上仪表盘：B=1 时 σ²=0.9，全量 GD σ²=0——精确到寸步不让，反而被自己的精确困死。理论出处：Bottou 2010《Large-Scale Machine Learning with SGD》证明强凸情形下 SGD 收敛到一个半径约 ησ²/μ 的噪声球——步长必须退火，否则只收敛到最优点邻域而非点本身，这正是 K05-09 学习率调度的理论伏笔。教材：花书 Ch8。
详解 · K05-05 小批量梯度下降Mini-batch SGD
折中：每步抽 B 个样本取平均，梯度方差降为 Var(g_B)=σ²/B——批量翻倍、方差减半。三个杠杆的工程权衡：B 大→方差小、梯度准、可并行吃满算力；B 小→步数多、噪声提供隐式正则与鞍点逃逸、泛化常更佳（Keskar 2017 观察大 batch 倾向收敛到锐利极小、泛化差）。成本视角：全量 GD 一步 O(n·d)，SGD 一步 O(d)，mini-batch 一步 O(B·d)——按"每遍历一次数据（epoch）的进度"做公平比较。数值验算：σ²=0.9 时 B=8 → 0.9/8=0.1125，B=32 → 0.028，B=128 → 0.007——方差按 1/B 严格衰减，台上仪表盘显示的正是这些严格值；轨迹动画则把噪声标准差放大 5 倍，让你在 60 步内肉眼看到逃逸概率随 B 衰减：B=1 几乎必翻过山脊、B=8 约三成概率、B≥32 稳稳困在左浅谷。经验法则：学习率随 B 近似线性缩放（linear scaling rule，Goyal 2017）；B 上限受显存与批量归一化统计稳定性约束。教材：d2l Ch11、花书 Ch8。
加速之器 · 动量与自适应
非凸山峦旁多出一排法器架：三件法器悬在架上，各泛微光。高斯老祖："纯 SGD 像一个没有记忆的人——每一步只看当下。给他三件东西。" 第一件：一只蓄力球——动量。第二件：一双自适应鞋——逐参数调步长。第三件：一只沙漏——学习率调度。
加速法器架 · 动量 + 自适应优化器 + 学习率调度
调 β 滑块 → 切换优化器 → 选学习率调度 → 训练曲线响应
动量法 · β 滑块
v_t = βv_{t-1} + ∇f
自适应优化器
学习率调度
详解 · K05-06 动量法Momentum：指数移动平均与加速
重球法（Polyak 1964）：v_t=βv_{t−1}+g_t，θ←θ−ηv_t。v 是梯度的指数移动平均，有效记忆窗口 1/(1−β) 步——β=0.9 记 10 步（0.9¹⁰≈0.35，第十步只剩三分之一权重）、β=0.99 记 100 步。数值验算：恒定梯度 g 下稳态速度 v*=g/(1−β)，β=0.9 时等效步长放大 10 倍——前进方向持续加速；而振荡方向正负抵消——阻尼。两效应叠加：病态峡谷（一维陡一维缓）中动量把振荡压平、把前进方向拉长，这正是台上 β 滑块 0.85–0.95 区间"沿谷底加速滑行"的机制。β 过大（>0.95）则惯性压过梯度、越过谷底 overshoot（台上滑块右端的发散警告）。变体：Nesterov 动量先按惯性走半步再算梯度（前瞻校正，凸情形下理论加速下界更优）。注意 Adam 里的"动量"是偏差修正后的一阶矩 m̂——同源不同形。教材：d2l Ch11；Sutskever 2013《On the importance of initialization and momentum in deep learning》。
详解 · K05-07 自适应学习率方法：AdaGrad/RMSProp/Adam
逐参数步长：AdaGrad（Duchi 2011）累积平方梯度 G_t=Σg²，步长 η/√(G_t+ε)——频繁更新的参数步长自动衰减、稀疏特征友好；但 G 单调不减，后期学习率窒息（台上 AdaGrad 曲线 t>60 段抬升）。RMSProp（Hinton 课件 6.5，从未正式发表）改指数滑动平均 v_t=ρv_{t−1}+(1−ρ)g_t²：遗忘式平均，非单调、恢复适应力。Adam（Kingma & Ba 2014, ICLR）双矩组合：一阶 m_t=β₁m_{t−1}+(1−β₁)g_t、二阶 v_t=β₂v_{t−1}+(1−β₂)g_t²，再各自偏差修正 m̂=m_t/(1−β₁ᵗ)、v̂=v_t/(1−β₂ᵗ)，更新 θ←θ−η·m̂/(√v̂+ε)。偏差修正数值验算：t=1、β₁=0.9 时 m₁=0.1g₁，不修正则步长被缩小 10 倍；修正后 m̂=m₁/0.1=g₁——零时刻不欠步。默认 β₁=0.9、β₂=0.999、ε=10⁻⁸。深度学习默认起手式，但不总优于调好的 SGD+动量（Wilson 2017 泛化之争）。教材：d2l Ch11。
详解 · K05-09 学习率调度策略：衰减/热身/余弦退火
固定 η 的两难：大步快速逼近但永远在最优点周围打转（SGD 噪声球半径 ∝ η）；小步精细却爬不动。调度族谱：Step decay（每 k 个 epoch 乘 γ，常由验证损失平台触发）；指数/多项式衰减；余弦退火（Loshchilov & Hutter 2016）η_t=η_min+(η_max−η_min)·(1+cos(πt/T))/2——数值验算：t=T/2 时 η 恰为中点 (η_max+η_min)/2，末期平滑趋近 η_min、无悬崖。Warmup：前若干步线性升温——初期 Adam 二阶矩 v̂ 冷启动、参数离好区域远，大步易发散；小步站稳后再加速（台上"Warmup+余弦"档先护后收的曲线）。工程直觉：调度与 batch size、动量耦合——大 batch 配大学习率+线性缩放；一流结果常来自"余弦+warmup+动量"组合。回到理论上：Bottou 的噪声球半径 ησ²/μ 说明退火不是玄学，是把噪声球收拢到最优点上的必经之路。教材：d2l Ch11、花书 Ch8。
曲率之眼 · 牛顿法 · 第二崩塌
山峦旁出现一面透镜——曲率之眼。透过它，你看到的不再是坡度，而是曲面弯曲的方式：凸处泛蓝光（H 正定），凹处泛红光（H 负定），鞍点处蓝红交错（H 不定）。高斯老祖在一个完美的二次碗上放了一颗珠子："试。" 珠子一步——只一步——就到了碗底。
局部最优之阱
「二阶？好。让我看看 Hessian 的符号。正定？负定？还是——不定？你信了曲率，曲率把你送上了坡。」
曲率透镜 · 牛顿法 vs GD + Hessian 特征值 + 代价面板
凸碗一步收敛 → 鞍点欺骗 → Hessian 分解 → BFGS/L-BFGS 代价
Hessian 特征值分解
代价对比
详解 · K05-08 牛顿法与拟牛顿法：BFGS/L-BFGS
牛顿步 θ←θ−H⁻¹∇f：对 f 做二阶泰勒展开、直接跳到该二次模型的最小值。凸二次函数上一步到最优（台上凸碗一击）；一般光滑函数下二阶收敛——误差每步平方 e_{t+1}∝e_t²（10⁻²→10⁻⁴→10⁻⁸），远快于 GD 的线性收敛。代价：Hessian 是 n×n 矩阵——存储 O(n²)、求逆解方程 O(n³)；n=10⁶ 参数时 H 有 10¹² 个元素，连存都存不下。致命缺陷：H 不定（鞍点）时，−H⁻¹∇f 沿负曲率特征方向指向上坡——台上鞍点透镜的 λ₁=+2.0、λ₂=−1.5：牛顿步被送上山脊。二阶信息是放大器：凸处更准、非凸处更险。拟牛顿折衷：不显式构造 H，用相邻梯度差分递推近似——BFGS（O(n²) 存储、每步 O(n²)）、L-BFGS 限定最近 m 步历史（O(mn)）——大规模机器学习优化的事实标准之一；信任域与阻尼（Levenberg–Marquardt）进一步压制不定 H。教材：Boyd Ch9、花书 Ch4。
约束之锁 · 拉格朗日与KKT
山峦尽头出现一道半透明的墙——约束边界 g(x)≤0。墙的另一侧是不可行区域。高斯老祖："你之前在自由空间里找最低点。现在——最低点可能在墙边，也可能被墙挡住。你怎么找？" 墙面上浮现一个旋钮——拉格朗日乘子 λ。
高斯老祖
「λ 是约束的'价格'。你愿意付多少代价来松绑这条约束？」
约束优化台 · 等高线-约束切点 + λ 滑块 + KKT 四条件
拖等高线找切点 → 调 λ 看约束价格 → 逐条点亮 KKT 四条件
等高线与约束 · 找切点
KKT 四条件 · 逐条点亮
详解 · K05-10 拉格朗日乘子法与等式约束优化
等式约束问题 min f(x) s.t. h(x)=0 的拉格朗日乘子法：构造 L(x,λ)=f(x)+λh(x)，最优性条件为 ∇_x L=0 与 h(x)=0——未知数与方程各多一个，λ 把"带约束的 n 维搜索"变成"无约束的 n+1 维驻点搜索"。几何直觉：最优点处目标函数的等值面与约束曲面相切——∇f 与 ∇h 共线（台上等高线与约束墙的切点）。不相切处，约束的切向方向上 f 仍在变化，沿它走还能降——不是最优。数值验算：min x²+y² s.t. x+y=1：∇f=(2x,2y)、∇h=(1,1)，联立 2x+λ=0、2y+λ=0、x+y=1 解得 x*=y*=0.5、λ=−1，f*=0.5——到原点最近的可行点，正是等值圆与直线的切点。λ 的灵敏度含义：约束右端从 1 松到 1+ε，最优值变化率恰为 −λ——这就是"约束的价格"。等式约束的 λ 可正可负（价格可付可收）；不等式约束（K05-11）才要求 λ≥0。对偶视角伏笔：x* 是 L 对 x 的极小点、λ* 是对 λ 的极大点——拉格朗日函数的鞍点结构（S8 对偶之镜）。教材：Boyd Ch5；花书 Ch4。
详解 · K05-11 KKT条件：不等式约束优化的最优性条件
Karush–Kuhn–Tucker 条件是拉格朗日乘子法向不等式约束 g(x)≤0 的推广，给出（凸问题下的充要、一般问题下的必要）最优性判据——台上"逐条点亮"的四条件：① 平稳性 ∇f(x)+λ∇g(x)=0（梯度对齐：目标与约束的拉力平衡）；② 原始可行 g(x)≤0（点必须在墙内）；③ 对偶可行 λ≥0（价格不为负——松绑约束不该倒贴钱）；④ 互补松弛 λ·g(x)=0（价格与约束不同时激活：要么约束紧咬 λ>0、g=0，要么约束松弛 g<0、λ=0——台上 λ 滑块拉满而切点远离边界时永远点不亮的那一条）。数值验算：min x² s.t. x≥1，写成 g(x)=1−x≤0：L=x²+λ(1−x)，平稳性 2x−λ=0；若 λ=0 则 x=0 不可行（g(0)=1>0 违反②），故互补松弛取 x=1 分支，解得 λ*=2>0——正是 S1 凸优化 kbox 里"无约束最优不可行、爬到边界 x=1、约束咬合"的同一道题。λ*=2 的价格含义：约束放松为 x≥1−ε 时 f*≈(1−ε)²≈1−2ε，最优值下降速率 2=λ。弱对偶的证明只用到②③：可行点处 λg≤0 ⇒ L≤f ⇒ inf_x L ≤ p*——K05-12 对偶之镜的地基。教材：Boyd Ch5；花书 Ch4。
对偶之镜 · 强弱对偶与鞍点
约束墙旁出现一面镜子——对偶之镜。镜中映出的不是曲面本身，而是它的"影子问题"。高斯老祖："每个约束优化问题都有两面——原始问题 min f(x) 和对偶问题 max g(λ)。凸+Slater 条件下，两面给出的答案完全一样——强对偶。" 镜子旁，曲率透镜重新亮起。
高斯老祖
「还记得鞍点吗？它在高维曲面上的数量——比你想象的多得多。你怕了半天的敌人，在高维里根本没几个。」
对偶之镜 · 对偶函数 + 维度滑块 + minimax 视图
构建对偶函数看间隙 → 拖维度看鞍点主导 → 切换 minimax 视图
对偶函数 · g(λ)=inf_x L(x,λ)
高维临界点分布 · 拖维度
极小极大优化 · min_x max_y f(x,y)
鞍点在 minimax 中不是陷阱——它是解。GAN 训练、对抗样本就是这个结构。
详解 · K05-12 对偶问题与强/弱对偶性
对偶函数 g(λ)=inf_x L(x,λ)：固定价格 λ、让 x 自由落体到底。两个关键事实：① g(λ) 总是凹函数（逐点下确界保凹）——对偶问题 max g(λ) s.t. λ≥0 永远是凸优化，无论原始是否凸；② 弱对偶 g(λ)≤p* 对一切 λ≥0 成立（K05-11 的②③两条即可证明：可行点处 λg≤0 ⇒ L≤f ⇒ 取下确界）——任何对偶可行 λ 都给出最优值的一个下界，且这个下界无需解出 x 就能算。强对偶（对偶间隙 p*−d*=0）需要代价：凸问题 + Slater 条件（存在严格内点 g(x)<0）。数值验算（台上对偶之镜）：min x² s.t. x≥1，L=x²+λ(1−x)，对 x 求极小得 x=λ/2，代入 g(λ)=λ−λ²/4；求极大 g′=1−λ/2=0 得 λ*=2，g(2)=1——而 p*=f(1)=1，间隙为零，强对偶成立（x²凸、x=2 为严格内点，Slater 满足）；非凸原问题上界 d*≤p* 严格小于（弱对偶档，台上间隙条不闭合）。工程意义：对偶间隙是"你离最优还有多远"的唯一严格证书——深度网络里算不动对偶，才退而求早停与验证集（S3 排除刻痕的验收逻辑）。SVM 是对偶最成功的舞台：原始 min ‖w‖²/2 s.t. yᵢ(wᵀxᵢ+b)≥1 凸 + 严格可分即 Slater ⇒ 强对偶，对偶形式只依赖内积——核技巧的入口。教材：Boyd Ch5；PRML Ch7。
详解 · K05-13 鞍点问题与极小极大优化
极小极大问题 min_x max_y f(x,y)：一方压低、一方抬高，平衡点 x* 使"即便对方出招，你也无法更差"、y* 使"即便你出招，对方也无法更好"——这个平衡恰是 f 的鞍点（Hessian 一方向正定、一方向负定，S6 曲率透镜的 λ₁>0、λ₂<0 情形）。视角反转：纯最小化中鞍点是"假底"陷阱（K05-14），极小极大中鞍点就是解本身——你要找的就是它。拉格朗日对偶内在就是鞍点问题：强对偶下 max_λ min_x L = min_x max_λ L，最优 (x*,λ*) 是 L 的鞍点——对偶之镜与约束之锁在此合流。GAN（Goodfellow 2014）：min_G max_D V(D,G)——判别器最大化判别真实/生成的优势，生成器最小化它；理论最优 D*(x)=p_data/(p_data+p_g)，代入后目标退化为 JS 散度，训练即逼近该鞍点。工程现实：同时梯度下降在 minimax 中振荡不收敛（双方轮流追打），需交替更新、梯度惩罚或保守优化（conservative optimizers）稳定鞍点邻域。高维统计（Bray & Dean 2007；Dauphin 2014 引）：随机高维地形的临界点中，局部极小的占比随维度指数衰减 2^(−n)——台上维度滑块 n 从 2 拖到 100，金点（鞍点）铺满、蓝点（局部极小）坍缩——你怕错了敌人半个世纪。教材：花书 Ch4；Goodfellow et al. 2014 GAN 论文。
Boss 战 · 局部最优之阱
曲面深处的浓雾凝成一张巨大的、没有五官的脸——它由无数个微小的"∇f=0"符号组成，密密麻麻，像一窝安息的蛇。
局部最优之阱
「我是局部最优之阱。我不住在你的错误里——错误救不了我。我住在你'梯度为零就停手'的满足里。三问。答错一题，曲面就暗一分。」
最优债累计 0 笔 · 三问全对后清零
尾声 · 内功大成
阱散尽时，本命损失曲面晶体上的两道裂纹被琥珀光一点一点填满——伤痕闭合，曲面比先前更亮。不是它变了，是你变了。
高斯老祖
「你内功初成了。但——你学了这么多优化器，梯度从哪来？你算 ∇f，可 f 是一个有百万参数的神经网络时，百万维梯度怎么算？下一章，那叫反向传播。」
内功大成 · 知识图谱点亮 + 境界突破
逐一点亮 14 块碎片 → 图谱连线成网 → 炼气期收官境界突破动画
本命损失曲面 · 伤痕即功勋
复盘 · 内功法门主线：从凸碗到对偶之镜的十四步
回望整座山：S1 凸域给出"局部即全局"的完美承诺（K05-01/02）——这是唯一的伊甸园。S2 梯度下降进场，θ←θ−η∇f 的三档步长实验揭示命门：η≤1/L 收敛、η>2/L 发散（K05-03）。S3 踏入非凸山峦，承诺失效——局部最优、鞍点、高原三种驻点陷阱（K05-14）。S4-S5 的应对是"管理噪声与惯性"：SGD 把方差换成逃逸资本（K05-04）、mini-batch 按 1/B 折中（K05-05）、动量用 1/(1−β) 步记忆压振荡加前进（K05-06）、AdaGrad/RMSProp/Adam 逐参数配速、偏差修正让零时刻不欠步（K05-07）、调度先热身后退火收拢噪声球（K05-09）。S6 二阶视角：牛顿一步到碗底、却在不定 H 处把人送上山脊——二阶信息是放大器而非保险（K05-08）。S7-S8 换一个维度看问题：约束给最优定价（K05-10/11），对偶给最优发证——凸+Slater 下间隙为零，非凸下永远是下界（K05-12）；而 minimax 把鞍点从陷阱反转为解（K05-13）。主线一句话：优化器不是"找一个底"的技术，而是"在未知地形上不轻信任何驻点"的行进纪律——凸域靠定理、非凸靠证伪（排除刻痕）、有约束靠价格（λ）、有对偶靠证书（间隙）、有对抗靠平衡（鞍点）。炼气期至此收官：下一层筑基，百万维的 ∇f 怎么算——反向传播。