神经初醒

McCulloch & Pitts 1943 把八百六十亿颗神经元（Azevedo 2009 全脑计数）压缩成一个开关电路：树突→输入 xᵢ、突触→权重 wᵢ、胞体→先求和后激活、轴突→输出 y，得 y=f(Σwᵢxᵢ+b)。映射台故意让胞体占两个空位——它同时承担「整合」（加法）与「决策」（非线性），少了哪一半都不是神经元。偏置 b 是纯数学引入的阈值项，没有生物对应：它把「够不够活跃才放电」的门槛平移。要清醒的一点：这是功能性抽象而非生理保真——真实神经元有放电频率编码、树突局部计算、时序整合，M-P 全部忽略；但作为「能算的最小单元」，它撑起了后面全部深度学习。

Rosenblatt 1958。几何像：w·x+b=0 是一张超平面，sign(w·x+b) 给出你站哪一侧——训练台上那条移动的线就是它在二维的投影。学习规则 w←w+η(y−ŷ)x 只在犯错时更新：几何上是把边界朝错分点方向推一段正比于 x 的距离，所以「对了不动、错了低头」。Novikoff 1962 收敛界：错误次数 ≤ (R/γ)²（R=最长样本模长、γ=分类间隔），只对线性可分数据成立，且与 η 大小无关——η 只等比缩放 w，不改变几何。注意感知机停下时找到的是「某一条」能分开的线，不是最优的那条（最大间隔是 SVM 的功课）；它甚至可能贴着点很近地停住。

Minsky & Papert 1969 用四颗光点杀死了感知机：对角同色意味着两类的凸包相交，而直线只能分开不相交的凸包——不存在任何 w, b 能分开 XOR。数学上 XOR = (A OR B) AND NOT(A AND B)，两个中间概念各用一张超平面切开、再组合，天然需要「层」；台上演示的精确解更直接：|x₁−x₂| = ReLU(x₁−x₂)+ReLU(x₂−x₁)，两个隐藏单元各管一个方向的差，输出层求和。必要性有两半：多层提供「组合超平面」的表达力，非线性激活提供「弯」——去掉激活，十层线性变换的复合仍是一层（W₂W₁x=Wx），层数白叠。历史注脚：这本书让神经网络沉睡十五年，直到反向传播（Werbos 1974；Rumelhart 1986）解决「多层怎么训」。

选钥匙的判据只有一条：导数。Sigmoid σ'(x)=σ(1−σ)≤0.25，深处饱和、输出还非零中心，10 层连乘 0.25⁹≈3.8×10⁻⁶——账本第一笔；Tanh 零中心、导数上界 1（tanh'=1−tanh²），仍两端饱和；ReLU 正半轴导数恒 1（梯度不衰减），代价是负半轴死亡神经元；LeakyReLU 用 α=0.01 的负斜率给死亡区留一条活路；GELU=x·Φ(x) 最平滑：导数峰值 ≈1.13（在 x≈√2 处，超过 1 可部分补偿衰减）、负区导数 ≈−0.13 恒非零，无死区，是 Transformer 系的默认激活。口诀：理想激活 = 零中心 + 非饱和；试验台上五根柱子的落差，就是五种梯度的命运。

Cybenko 1989：单隐层 + Sigmoid 型激活，可以任意精度近似紧集上的任何连续函数；Hornik 1991 与 Leshno 1993 把条件放宽到非多项式激活——「万能」是真的。但定理只保证三件事里的第一件：存在性。它不说需要多少神经元（所需宽度可随输入维度指数增长）、不说随机初始化 + 梯度下降能不能找到那组权重、更不说找到的函数能不能泛化。滑块演示的正是「能」与「值」的落差：100 个神经元拟合得好，参数量跟着涨到 300+；而深层网络用层级组合（底层学局部特征、高层组合复用）在许多函数族上用指数级更少的参数达到同样精度——「一层就够」在算术上不成立。

每层两个动作：zˡ=Wˡaˡ⁻¹+bˡ（仿射）、aˡ=f(zˡ)（非线性），交替堆叠即 MLP。参数量按层累加：Σ(n_out×n_in + n_out)——权重矩阵形状是 (n_out×n_in)、偏置按输出维计。殿里的账：784→128→10 为 (784×128+128)+(128×10+10)=100,480+1,290=101,770；宽窄对比 1隐层×1000=795,010 vs 4隐层×32=28,618，深度省约 28 倍——但参数效率的代价是梯度链更长（S8 的深渊等着记账）。维度自查是第一调试术：相邻层形状对不上，矩阵乘根本跑不通；这也是 S5 执行器每一步都标注张量形状的原因。

前向 = 按拓扑序执行计算图：节点是运算（矩阵乘、加偏置、激活、softmax、损失），边是流动的张量。执行器实算的那条链：x=[1.00, 0.50] → z¹=W¹x+b¹=[0.50, 0.60, 0.10] → a¹=ReLU(z¹) → z²=[0.14, 0.51] → a² → z³=[0.11, 0.25] → ŷ=softmax(z³)=[0.47, 0.53] → L=−log(0.47)≈0.76。两个工程要点：①形状链 (2,)→(3,)→(2,)→(2,) 必须首尾相接，W 的形状是 (n_out×n_in)；②前向必须缓存中间激活 aˡ——反向传播算权重梯度 ∂L/∂Wˡ=δˡ(aˡ⁻¹)ᵀ 时要用它，这正是训练比推理费显存的原因。这张图从右往左走，就是 S8。

Glorot & Bengio 2010（ICML）。目标只有一个：方差守恒——信号过一层，方差既不膨胀也不坍缩。推导骨架：z=Σᵢwᵢxᵢ 且各 wᵢ、xᵢ 独立时 Var(z)=n_in·Var(w)·Var(x)，令前向稳定要 Var(w)=1/n_in；反向梯度走的是 n_out 条出边，令反向稳定要 Var(w)=1/n_out；两约束取折中得 Var(w)=2/(n_in+n_out)，均匀版 w~U(−√(6/(n_in+n_out)), +√(6/(n_in+n_out)))。炼丹炉上的账：Xavier 档方差 1.0→0.98→1.01→0.99→1.0，十层不漂。适用边界：推导假设激活近似线性、零中心——对 Tanh/Sigmoid 成立；对 ReLU（砍掉负半轴、每层方差被动减半）会系统性补偿不足，这正是 He 的入场券（K06-09）。还要分清职责：初始化只管「起点」，训练中方差继续漂移，交给归一化（S7）。

He et al. 2015（ICCV，Delving Deep into Rectifiers）。ReLU 把负半轴归零：零均值输入下 E[f(z)²]≈Var(z)/2——激活方差每层自动砍半，Xavier 的 2/(n_in+n_out) 补不回来，深层 ReLU 网照样逐层变暗（方差按 0.5^L 衰减）。修正只改一个系数：Var(w)=2/n_in，把 ReLU 砍掉的那一半提前补足；炼丹炉上 He 档十层方差稳在 1.0→1.02→0.98→1.01→1.0。两个对照反例也在炉上：全零初始化——所有神经元算出相同输出、拿到相同梯度，永远学同一个特征（对称性破坏，排除刻痕④）；w~N(0,10) 的随机过大——Var(z)=n_in·100，直方图两三层就糊成 NaN。推广：PReLU 的负斜率 α 对应 Var(w)=2/(n_in·(1+α²))，α=0 时退化回 ReLU 的 2/n_in。初始化保证第 0 个 epoch 的稳定，之后分布随训练漂移，是 S7 归一化的战场。

Ioffe & Szegedy 2015（ICML）。公式两步：x̂ᵢ=(xᵢ−μ_B)/√(σ_B²+ε)——用当前 mini-batch 的统计量把激活拉回均值 0、方差 1；再 yᵢ=γᵢx̂ᵢ+βᵢ——γ/β 是可学的放缩偏移，保证「能归一化」不等于「必须归一化」，网络需要时可以学回任意分布。训练/推理差异是 BN 的身份证：训练用 batch 统计量（μ_B、σ_B 随 batch 内容变），推理用训练期累积的移动平均——所以 BN 的输出依赖 batch；batch=2 时统计量噪声大，水渠直方图剧烈抖动（小 batch 场景换 LN/GN，正是台上 batch 滑到 2 时刻痕的判词）。动机之争：原文归因于缓解内部协变量偏移；NeurIPS 2018 的后续工作拆开归一化逐项检验，发现真正的收益更可能来自损失面的平滑化——机制解释至今未盖棺。确定的三条红利：容忍更大学习率、收敛更快、自带轻微正则。惯例插在仿射与激活之间：z→BN→f(z)。

把归一化的「统计范围」换一个轴，就得到 BN 的两个替身。LN（Ba et al. 2016）：对单个样本沿特征维归一化——每个样本自己算自己的 μ/σ，与 batch 大小彻底无关；序列模型的标配（RNN 每个时间步、Transformer 每个 token 的隐向量独立归一化），这是 LN 成为 Transformer 默认的根本原因。GN（Wu & He 2018, ECCV）：把通道分成 G 组、组内归一化——G=1（全部通道一组）退化为 LN，G=C（每通道一组）退化为 InstanceNorm，GN 是两者的插值。选型口诀：大 batch 分类 BN 最优；检测/分割 batch 只有 1-4 时 BN 统计失真，GN 顶上；变长序列、自回归生成用 LN。共同点：都带 γ/β 仿射、都稳分布；差异只在「沿哪个轴取统计」——水渠上 BN/LN/GN 三档直方图同样稳，唯独 BN 挂着 batch 旋钮，这就是全部区别。

Srivastava et al. 2014（JMLR）。训练时每个神经元以概率 p 独立失活（MLP 常用 p=0.5，即台上滑块）：前向变成瘦身子网络，反向也只更新幸存者；推理时全网络工作、激活按 (1−p) 补偿——工程实现用 inverted dropout：训练时就除以 (1−p)，推理零改动。正则机制是打断「共适应」：随机断线让任何神经元都无法把命运押在某个特定伙伴上，被迫学出冗余、分散的特征；理论上近似于 2ⁿ 个共享权重的子网络隐式集成。水渠上的两条曲线：训练损失照常下降，验证损失在后段（epoch>10）被压低、不再回头涨——过拟合剪刀差收窄。代价：训练损失初期抬高、收敛变慢；p 并非越大越好——输入层常用 0.2，卷积层更低或改 SpatialDropout。与 BN 叠用要小心：失活会扰动 BN 的 batch 统计，惯例 BN 在前、Dropout 放输出侧或干脆不叠。

损失函数是计算图最右端那颗红果——它决定梯度往哪儿拽。推导器上的四选：MSE L=(1/n)Σ(y−ŷ)²，回归默认；注意它配 Sigmoid 输出时梯度 ∂L/∂z=(ŷ−y)·σ'(z)，饱和区 σ'→0 学不动——这不是 MSE 的错，是它与饱和激活的组合债。交叉熵 L=−Σyᵢlog(ŷᵢ)，配 softmax 后梯度恰好化简为 (ŷ−y)——log 的导数与 softmax 的导数相消，这就是「分类必用 CE」的数学理由；S5 执行器算的 L=−log(0.47)≈0.76 正是它，S8 的反向链从这个数起步。Huber：|e|≤δ 时二次、超出后线性——误差再大梯度也封顶在 δ，对离群点鲁棒，回归数据的防炸保险丝。Focal（Lin et al. 2017，RetinaNet）：L=−(1−p_t)^γ·log(p_t)，γ=2 把大量「已分对」的简单样本降权，让难例主导梯度——为类别不平衡而生（正负样本 1:1000 的检测任务）。选型表：回归→MSE/Huber；分类→交叉熵；不平衡→Focal 或加权 CE。

推导器点亮的四条公式就是全部：① 输出层 δᴸ=∇_aL⊙f'(zᴸ)——损失对激活的梯度逐元素乘激活导数；② 递推 δˡ=((Wˡ⁺¹)ᵀδˡ⁺¹)⊙f'(zˡ)——下层误差先被转置权重搬运、再被本层激活导数削一刀，逐层向左；③ ∂L/∂Wˡ=δˡ(aˡ⁻¹)ᵀ——权重梯度是本层误差与上层激活的外积（这就是前向必须缓存 aˡ 的原因）；④ ∂L/∂bˡ=δˡ。本质：链式法则在计算图上按逆拓扑序执行——每个节点只需知道自己的局部导数，乘起来就是全局梯度。代价账：一次前向+一次反向≈2-3 倍前向的计算量，S4 那张 101,770 参数的网络每步只付约三个前向的价钱；数值差分要每个参数扰动两次前向——二十万次前向换一步梯度，这是深度网络在 1986 年之前「深不起来」的算术原因。历史：Werbos 1974 博士论文首提，Rumelhart/Hinton/Williams 1986（Nature）让它翻案。账本上的 0.25⁹≈3.8×10⁻⁶ 不是 bug——公式②连乘九次的必然结果，S9 的深渊从这里裂开。