数理筑基
你以为数学是解题工具。可在蕴灵宗,数学是思考的语言——是你和智能之间的唯一共同语。维度之噬在暗处立赌:你至少有一次会信直觉而非数学。
数理之门
天机门的符文在你身后合拢。你踏入蕴灵宗山门时,空气里漂浮的不是代码碎片,而是符号——σ、λ、Σ、H(X)——像活物一样游动。山门石碑刻着四个字:数理筑基。一个白须老者站在阶上,身后是无穷延展的坐标网格。他是高斯老祖。
「天机门教了你说话——编码。蕴灵宗教你思考。你以为数学是解题工具?在这里,数学是思考的语言。」
「我赌——在你走完这章之前,至少有一次,你会相信自己的直觉,而不是数学。每一次,我都长大一分。」
直觉之赌 · 基石拾取
三选一下注(无对错,但选择被维度之噬记账)→ 拾起数学基石 → 19 个知识点暗纹浮现
数学基石 · 19 纹暗面
向量之石 · 矩阵不是数表
石室中央悬着一个发光向量,像一支离弦的箭。高斯老祖递来一块矩阵石板:「把它变个方向。」你学过数组——这不过是二维表格。你按数组的方式逐元素操作,向量纹丝不动。「错了。」你重新审视石板:矩阵乘法不是逐元素相乘,是行的点积列——是变换的复合。空间骤然倾斜。
「你在天机门用 * 按元素乘惯了。但线性代数的乘法是 *——点积的复合。矩阵不是存数据的表格,是变换空间的动作。」
「直觉说交换无所谓——先转再缩和先缩再转,结果不一样?呵。」
矩阵变换实验台 · 逐元素 vs 矩阵乘法
切换乘法模式 → 拖矩阵变换向量 → 交换 AB 顺序 → 转置操作
详解 · K01-01 向量与矩阵运算
矩阵乘法的定义是 (AB)ᵢⱼ = Σₖ AᵢₖBₖⱼ——第 i 行与第 j 列的点积,不是逐元素相乘(那是 Hadamard 积 ⊙)。几何上,矩阵是线性变换:旋转、缩放、剪切、投影;矩阵相乘就是变换的复合,而复合有先后——先旋转再缩放 ≠ 先缩放再旋转,所以 AB≠BA 在一般情形下成立。转置有反序律 (AB)ᵀ = BᵀAᵀ。神经网络的每一层 y = Wx + b 就是一次矩阵变换加一个平移:W 负责扭空间,b 负责挪位置。
矩阵万相 · 特殊矩阵与范数
裂痕旁浮出六面石碑,各刻一种矩阵。单位阵如镜——什么都不变。对角阵如秤——各轴独立缩放。正交阵如刚体旋转——长度不变、角度不变。逆矩阵如时光倒流——乘回去等于什么都没发生。你试着用 L2 范数量一切,高斯老祖摇头:「不同的尺子量不同的东西。」
「L1 逼你选择,L2 逼你平均。你选哪把尺子,就在选你想要什么样的答案。选范数就是选立场。」
矩阵万相画廊 · 六面石碑 + 范数尺子
触碰六面石碑看几何变换 → 切换范数看等高线变形 → 正则化预览
范数尺子 · 等高线变形
详解 · K01-02 特殊矩阵
单位阵 I 是恒等变换(AI=A);对角阵各坐标轴独立缩放,存储和乘法都是 O(n);对称阵 A=Aᵀ 有谱定理撑腰——特征值全为实数、特征向量两两正交,协方差矩阵和 Hessian 都是对称阵;正交阵 QᵀQ=I 保长度、保角度、数值极稳,求逆就是转置;逆矩阵 A⁻¹ 存在 ⟺ det(A)≠0 ⟺ 列满秩;正定阵 xᵀAx>0 对应碗状曲面和唯一极小值。认出矩阵的"面相",就知道能对它用什么定理。
详解 · K01-04 范数:L1/L2/Lp 与 Frobenius
‖x‖ₚ = (Σ|xᵢ|ᵖ)^(1/p)。L1 是曼哈顿距离,单位球是菱形、顶点戳在坐标轴上——所以以 L1 为惩罚项时最优解容易落在顶点上,多余分量被压到恰好为零,这就是 LASSO 的特征选择能力;L2 是欧氏距离,单位球是圆、各方向同样"贵",解被均匀压小但不归零,这就是 Ridge/权重衰减;L∞ 只看最大分量。Frobenius 范数 ‖A‖_F = √(Σaᵢⱼ²) 相当于把矩阵拉直成向量再算 L2,是低秩逼近和矩阵补全的常用尺子。选范数 = 选归纳偏置。
分解之殿 · 行列式、特征值、SVD
殿堂中央悬着一团无形的力场——一个矩阵。你看见它把空间扭曲、拉伸、旋转,却看不见它的"骨架"。「找它的不变量。」高斯老祖递来一根探针。你拖动向量扫过整个空间,在某几个方向上,向量只被拉伸、方向不变——特征向量。你换了一个非方阵,特征值消失了。
「不是所有矩阵都有特征值。但所有矩阵都有奇异值。SVD 属于所有矩阵——A=UΣV^T,旋转×缩放×旋转。」
矩阵解剖台 · 特征探针 + SVD 三层分解
拖探针找特征方向 → 行列式体积动画 → 非方阵触发SVD → 二次型曲面
特征探针 · 拖动向量找不变方向
行列式 · 体积缩放因子
SVD 三层分解 · A = UΣV^T
二次型曲面 · x^T A x
详解 · K01-05 特征值与特征向量
Av = λv:变换只拉伸、不转向的方向就是特征方向,拉伸倍数 λ 就是特征值。求解走特征方程 det(A−λI)=0。只有方阵才有特征值;对称阵尤其乖——谱定理 A = QΛQᵀ 保证实特征值加一组正交特征向量。应用极广:PCA 的主成分就是协方差矩阵的特征向量,对应特征值就是该方向上的方差大小——降维就是沿特征值从大到小砍方向。
详解 · K01-06 奇异值分解 SVD
任意 m×n 矩阵(不必是方阵)都能写成 A = UΣVᵀ:U、V 是正交阵,Σ 是对角阵且奇异值 σ₁≥σ₂≥…≥0。几何读法:任何线性变换 = 先旋转(Vᵀ)→ 沿坐标轴缩放(Σ)→ 再旋转(U)。Eckart-Young 定理:只保留前 k 个奇异值的截断 SVD,是所有秩-k 矩阵里对 A 的最优逼近(Frobenius 意义下)。推荐系统的协同过滤、图像压缩、大模型 LoRA 微调的低秩思想,根都在这条定理上。
详解 · K01-03 · K01-07 行列式、迹与二次型
det(A) = Πλᵢ 是体积缩放因子:det=0 意味着空间被压扁、信息丢失、矩阵不可逆。tr(A) = Σλᵢ = Σaᵢᵢ 是特征值之和,且有轮换不变性 tr(ABC)=tr(CAB)——推公式时极好用。二次型 xᵀAx 的符号定性格:正定→碗形(唯一极小),负定→倒扣的碗,不定→马鞍面。Hessian 是二次型的曲率矩阵,所以 Hessian 不定的地方就是鞍点——高维里鞍点比局部极小值多得多,这是深度学习优化的真麻烦。
概率之渊 · 贝叶斯觉醒
你跨过一扇门,空气变了——从确定变成了不确定。石台上摆着三个碗,各扣着一颗珠子。高斯老祖:「一颗是灵珠,两颗是空碗。你选了一个。我翻开另一个空碗。现在——换不换?」你的直觉说不换,换了也不会更好。碗揭开——换的人赢了。你的频率直觉算出的概率是 1/2,实际是 2/3。
「概率不是数过去了多少次。概率是——给定你知道的,推理你不知道的。P(A|B) = P(B|A)P(A) / P(B)。」
「换不换都一样?你的频率直觉数了 30 次还是错的——它忽略了主持人翻碗提供的新信息。」
蒙提霍尔博弈 + 贝叶斯推导台
三碗选一 → 主持人翻碗 → 换/不换 → 贝叶斯分步推导 → 先验权重实验
贝叶斯推导 · P(灵珠在碗2 | 翻开碗3)
详解 · K01-08 概率基础:条件概率与全概率
条件概率 P(A|B) = P(AB)/P(B):把样本空间收缩到"B 已发生"的那一块里重新算比例。全概率公式 P(B) = Σᵢ P(B|Aᵢ)P(Aᵢ):按互斥完备的情形拆分、各自加权再求和——贝叶斯定理的分母就是这么算出来的。独立性 P(AB)=P(A)P(B) 是最强也最常用的简化假设:朴素贝叶斯分类器之所以"朴素",就是假装所有特征条件独立,换来 O(n) 的参数量。
详解 · K01-09 贝叶斯定理:先验→后验
P(H|D) = P(D|H)P(H)/P(D),一句话:后验 ∝ 似然 × 先验。蒙提霍尔的全部机关在于主持人知道答案且故意开空碗——翻碗不是随机事件,是带信息的动作,所以似然 P(开碗3|灵珠在碗2)=1 而不是 1/2。频率派数"重复了多少次",贝叶斯派问"这条证据让我的信念移动了多少"。推论同样重要:先验为零则后验恒为零——封闭的信念,再多证据也更新不动。
分布长廊 · 分布与统计量
长廊两侧挂满了分布的画像。伯努利——抛一枚硬币。二项——抛 n 枚。高斯——万物归一。你在每幅画前驻足,用手触摸分布曲线,感受期望的"重心"和方差的"晃动幅度"。高斯老祖指给你看协方差:两个变量一起跳舞时,它们步幅的关联。
「方差是一个人的不安,协方差是两个人不安的同步。但相关不等于因果——这点你在 ch03 会再吃一次亏。」
分布画像触摸 · 五种分布 + 统计量骨架 + 协方差舞蹈
触摸五种分布画像 → 拖动参数看曲线变形 → 协方差动画看步幅同步
协方差舞蹈 · 两变量联合分布
详解 · K01-10 常见概率分布
伯努利 Ber(p) 是单次 0/1 试验(E=p,Var=p(1−p));二项 B(n,p) 是 n 次独立重复的成功计数(E=np,Var=np(1−p));高斯 N(μ,σ²) 的普适性来自中心极限定理——大量独立小随机效应之和必然趋向钟形曲线,所以它是噪声的默认模型;多项分布 Mult(n,p) 是掷骰子/词袋模型的直接描述;Dirichlet 是"分布之上的分布",作为多项分布的共轭先验,是 LDA 主题模型的数学核心。选分布先看数据类型:计数、比例、连续测量,各有各的归宿。
详解 · K01-11 期望、方差、协方差与相关系数
E[X] 是分布的重心;Var(X) = E[(X−μ)²] 量晃动幅度;Cov(X,Y) = E[(X−μₓ)(Y−μᵧ)] 量两个变量的联动方向;相关系数 ρ = Cov/(σₓσᵧ) ∈ [−1,1] 把它归一化。两个经典坑:其一,相关不等于因果——可能存在混杂因子 Z 同时推动 X 和 Y;其二,独立 ⇒ 不相关,但不相关 ⇏ 独立(Y=X² 且 X 关于 0 对称时 ρ=0 却完全决定),只有联合高斯里"不相关"才等价于"独立"。
高斯之眼 · MLE 与 MAP
穹顶下悬着一团发光的云——多元高斯分布。它的截面是椭圆,主轴方向由协方差矩阵的特征向量决定,长短由特征值决定。你曾见过的特征值分解,在这里重现。「现在——给你一千个数据点,猜这团云的中心和形状。」你凭直觉猜均值和方差——MLE。答对了。「但如果你有先验知识呢?」
「MLE 完全相信数据,MAP 留一手给信仰。正态先验恰好等价于 L2 正则化。过拟合的人,都是太相信数据了。」
参数估计台 · 多元高斯 + MLE + MAP + 过拟合
拖 μ/Σ 看椭圆 → MLE 似然最大化 → MAP 加先验 → 5点 vs 1000点过拟合
多元高斯椭圆 · Σ 特征向量=主轴
MLE · 最大化对数似然 log L
MAP · 似然 × 先验 → 后验
过拟合演示 · 5点 MLE vs MAP
详解 · K01-12 多元高斯分布
N(μ,Σ) 的等概率密度面是椭球:主轴方向由协方差矩阵 Σ 的特征向量给出,轴长正比于 √λᵢ。Σ 为对角阵时各维独立、椭圆轴对齐坐标系;满秩 Σ 则给出旋转的椭圆。高斯族有极强的封闭性:边缘分布、条件分布仍是高斯——这条性质是高斯过程和卡尔曼滤波能闭式计算的地基。你刚学的特征值分解,在这里第一次以"数据形状"的面目重现。
详解 · K01-13 最大似然估计 MLE
θ̂_MLE = argmax Πᵢ p(xᵢ|θ),取对数把连乘变连加,再对参数求导置零。高斯情形下闭式解是 μ̂ = x̄、σ̂² = (1/n)Σ(xᵢ−x̄)²——注意方差的分母是 n 而非 n−1,所以 MLE 的方差估计系统性偏小(有偏)。MLE 有一致性和渐近有效性撑腰,数据多就是对的;但小样本时它把噪声当规律——5 个点能完美穿过任何疯狂的曲线,训练误差为零,泛化一塌糊涂。
详解 · K01-14 最大后验估计 MAP
θ̂_MAP = argmax p(D|θ)·p(θ):给似然乘上先验。高斯似然 + 高斯先验时,后验均值是数据均值与先验均值按精度(方差倒数)加权的折中;n→∞ 时数据项碾压先验,MAP 退化为 MLE——所以先验只在数据少时发力,恰好是过拟合最危险的时候。关键数学事实:高斯先验 ⟺ L2 正则化,拉普拉斯先验 ⟺ L1 正则化。你在训练时加的 weight decay,本质上就是在做贝叶斯推理。
信息之火 · 熵与交叉熵
火塘前没有火焰,只有一串不断变化的概率分布。高斯老祖:「这团火的温度,就是它的熵——不确定性。」你看见均匀分布熵最高(什么都可能),确定分布熵为零(没有悬念)。你把一个分布换成另一个,损耗的能量浮现——KL 散度。「你的模型每次猜错,就在付交叉熵的代价。」
「交叉熵 = 真实熵 + 你比真实多出来的无知。学习是什么?是压缩。每一个神经网络,都在最小化 KL 散度。」
信息之火 · 熵温度计 + KL散度 + 交叉熵 + 互信息
拖分布看熵温变化 → 双分布KL光流 → 交叉熵三段展开 → 互信息光流
熵温度计 · H(X) = -Σ p log p
KL 散度 · D_KL(P||Q) = Σ p log(p/q)
交叉熵展开 · H(P,Q) = H(P) + D_KL(P||Q)
互信息 · I(X;Y) = H(X) - H(X|Y)
详解 · K01-15 信息论基础:熵与条件熵
H(X) = −Σp(x)log₂p(x) 是不确定性的度量,单位 bit。两个极端:均匀分布熵最大(log₂n,什么都可能),确定分布熵为零(没有悬念)。条件熵 H(X|Y) 是"已知 Y 后 X 剩余的不确定性";联合熵满足 H(X,Y) ≤ H(X)+H(Y),等号当且仅当独立。香农的深刻之处在于:熵同时是无损压缩的极限——一个信源平均每个符号最少需要 H(X) 个 bit 编码。学习即压缩,源头在这里。
详解 · K01-16 KL 散度与交叉熵
D_KL(P‖Q) = Σp log(p/q) ≥ 0(Gibbs 不等式),当且仅当 P=Q 时取零。注意它不对称、不满足三角不等式——它是"用 Q 近似 P 的编码代价",不是距离。交叉熵 H(P,Q) = H(P) + D_KL(P‖Q):训练分类器时 P 是真实标签分布、H(P) 是无法改变的常数,所以最小化交叉熵损失 ⟺ 最小化模型分布与真实分布的 KL 散度 ⟺ 对数据做最大似然。三个视角,同一件事。
详解 · K01-17 互信息与信息增益
I(X;Y) = H(X) − H(X|Y) = D_KL(p(x,y) ‖ p(x)p(y)):知道 Y 平均替你消除了多少关于 X 的不确定性。它对称、非负,X 与 Y 独立时恰为零。决策树每选一次划分特征,就是在最大化信息增益(ID3/C4.5 的核心判据);表征学习里的对比学习目标 InfoNCE,本质是互信息的下界最大化——让同一样本的两个视图之间互信息尽可能大。
高维裂隙 · 维度灾难
你站在一个一百维的坐标原点。高斯老祖递来一千个数据点。你按三维直觉投放——它们瞬间消失在浩瀚的空间里,稀疏得像真空。你测量任意两点的距离——最近和最远几乎一样。「在三维里,你知道远近。在一百维里,远近没有了。」维度之噬的声音从四面八方传来:「欢迎来到我的领地。」
「Glorot 让方差守恒,He 为 ReLU 而生——初始化不是随便填数。Jacobian 是变换的局部拉伸,Hessian 是曲率——你前面学的,在高维里都还在。」
「你的三维直觉说'随机填就好'。一万维说'不行'。我等的就是这一刻。」
高维实验台 · 维度滑块 + 初始化对比 + 矩阵微积分
拖维度滑块看距离/稀疏/体积 → 四种初始化对比 → Jacobian/Hessian 展开
四种初始化对比 · 方差守恒
矩阵微积分 · Jacobian & Hessian
详解 · K01-18 随机矩阵直觉:Glorot 与 He 初始化
前向传播时,若权重独立同分布、方差 Var(w),则每层输出方差约为 n_in·Var(w)·Var(x)。要信号在几十层里既不消失也不爆炸,必须让方差逐层守恒:Glorot/Xavier 给出 Var(w) = 2/(n_in+n_out),为 tanh 这类对称线性区激活设计;ReLU 把一半信号清零,等效损失一半方差,所以 He 初始化把方差加倍到 2/n_in。全零初始化则是另一种死法:所有神经元梯度完全相同,对称性永远无法打破,整个网络退化成单个神经元。初始化不是玄学,是方差守恒的工程设计。
详解 · K01-19 矩阵求导:Jacobian 与 Hessian
Jacobian Jᵢⱼ = ∂fᵢ/∂xⱼ 是向量函数的局部线性近似——就是 S1 那块"变换矩阵"的逐点版本:在每一小片邻域里,任何光滑函数都近似一个矩阵变换。Hessian Hᵢⱼ = ∂²f/∂xᵢ∂xⱼ 是标量函数的曲率矩阵,它的正定性决定你站在碗底还是马鞍上,特征值谱决定条件数、决定梯度下降要震荡多久。矩阵链式法则 ∂L/∂W = (∂L/∂y)(∂y/∂W) 配上"形状匹配"的书写纪律,就是 ch06 反向传播推导所需的全部微积分。
Boss 战 · 维度之噬
一千维空间骤然坍缩成一片黑暗。维度之噬凝成一道没有五官的裂隙,吞噬着所有方向。「我是维度之噬。我不住在你的无知里——无知救不了我。我住在你'三维直觉可以无限外推'的傲慢里。你每以为高维和三维一样,我就胖了一圈。三问。答错一题,我涨一分。」
「让我看看你这趟蕴灵宗,是学明白了,还是背明白了。你手里唯一的武器是基石上三道裂痕——每一道都是你亲手验证过的'此路不通'。」
维度债累计 0 笔 · 三问全对后清零
尾声 · 数理筑基
裂隙弥合时天刚破晓。你手里的数学基石微微发光——不是它变了,是你变了。三道裂纹还在,但裂纹里渗满了翠光——不是消失了,是长好了。高斯老祖:「你筑基了。不是因为你答对了三问——答对的会忘。是因为你摔过的每一道裂纹,都变成光。」
「但——你知道这些方程怎么变成代码吗?你知道 NumPy 的向量化比 for 循环快多少倍吗?明天,我们去取你第一把法器。那把法器叫 Python。」
知识图谱 · 19 碎片点亮 + 境界突破
逐一点亮 19 个知识碎片 → 三色簇连线成网 → 境界突破
复盘 · 三度崩塌与一张地图
本章三道裂痕,每一道都是一次直觉的死亡:其一,矩阵不是数表,是空间变换——所以神经网络每层都在扭空间;其二,概率不是频率,是信念的推理——所以训练是用证据更新参数;其三,高维不是三维的延伸,是距离失效、数据真空的异域——所以直觉在高维一文不值。但崩塌的另一面是收获:线性代数给你语言(K01-01~07),概率统计给你推理(K01-08~14),信息论给你尺子(K01-15~17),而随机矩阵与矩阵微积分(K01-18~19)告诉你这些工具在高维依然有效。深度学习之所以在一万维里能工作,是因为真实数据活在低维流形上——特征值、SVD、信息论,正是找到那个流形的地图。下一章代码炼器:把这套地图写成 Python。