SICI · 蕴灵宗 · 第一章

数理筑基

线性代数与概率统计基础 · 炼气一层

你以为数学是解题工具。可在蕴灵宗,数学是思考的语言——是你和智能之间的唯一共同语。维度之噬在暗处立赌:你至少有一次会信直觉而非数学。

维度之噬低语:「AI 的数学,和考试学的数学,是一样的吗?我赌你至少有一次会信直觉。」
序章

数理之门

直觉之赌 · 基石拾取 · 双径入口

天机门的符文在你身后合拢。你踏入蕴灵宗山门时,空气里漂浮的不是代码碎片,而是符号——σ、λ、Σ、H(X)——像活物一样游动。山门石碑刻着四个字:数理筑基。一个白须老者站在阶上,身后是无穷延展的坐标网格。他是高斯老祖。

蕴灵宗山门,石碑刻着数理筑基,数学符号在空中游动,坐标网格向远方延伸
高斯老祖 高斯老祖

「天机门教了你说话——编码。蕴灵宗教你思考。你以为数学是解题工具?在这里,数学是思考的语言。」

维度之噬 维度之噬

「我赌——在你走完这章之前,至少有一次,你会相信自己的直觉,而不是数学。每一次,我都长大一分。」

直觉之赌 · 基石拾取

三选一下注(无对错,但选择被维度之噬记账)→ 拾起数学基石 → 19 个知识点暗纹浮现

维度之噬逼你上赌桌:「AI 需要的数学,和你考试学的数学,是一样的吗?」
第一幕 · 自信→崩塌

向量之石 · 矩阵不是数表

逐元素乘法 vs 矩阵乘法 / AB≠BA / 转置

石室中央悬着一个发光向量,像一支离弦的箭。高斯老祖递来一块矩阵石板:「把它变个方向。」你学过数组——这不过是二维表格。你按数组的方式逐元素操作,向量纹丝不动。「错了。」你重新审视石板:矩阵乘法不是逐元素相乘,是行的点积列——是变换的复合。空间骤然倾斜。

高斯老祖 高斯老祖

「你在天机门用 * 按元素乘惯了。但线性代数的乘法是 *——点积的复合。矩阵不是存数据的表格,是变换空间的动作。」

维度之噬 维度之噬

「直觉说交换无所谓——先转再缩和先缩再转,结果不一样?呵。」

矩阵变换实验台 · 逐元素 vs 矩阵乘法

切换乘法模式 → 拖矩阵变换向量 → 交换 AB 顺序 → 转置操作

详解 · K01-01 向量与矩阵运算

矩阵乘法的定义是 (AB)ᵢⱼ = Σₖ AᵢₖBₖⱼ——第 i 行与第 j 列的点积,不是逐元素相乘(那是 Hadamard 积 ⊙)。几何上,矩阵是线性变换:旋转、缩放、剪切、投影;矩阵相乘就是变换的复合,而复合有先后——先旋转再缩放 ≠ 先缩放再旋转,所以 AB≠BA 在一般情形下成立。转置有反序律 (AB)ᵀ = BᵀAᵀ。神经网络的每一层 y = Wx + b 就是一次矩阵变换加一个平移:W 负责扭空间,b 负责挪位置。

第一幕 · 探索

矩阵万相 · 特殊矩阵与范数

六面石碑 / L1·L2·L∞·Lp 范数 / Frobenius / 正则化预览

裂痕旁浮出六面石碑,各刻一种矩阵。单位阵如镜——什么都不变。对角阵如秤——各轴独立缩放。正交阵如刚体旋转——长度不变、角度不变。逆矩阵如时光倒流——乘回去等于什么都没发生。你试着用 L2 范数量一切,高斯老祖摇头:「不同的尺子量不同的东西。」

高斯老祖 高斯老祖

「L1 逼你选择,L2 逼你平均。你选哪把尺子,就在选你想要什么样的答案。选范数就是选立场。」

矩阵万相画廊 · 六面石碑 + 范数尺子

触碰六面石碑看几何变换 → 切换范数看等高线变形 → 正则化预览

第一幕 · 线性代数巅峰

分解之殿 · 行列式、特征值、SVD

特征探针 / 行列式体积 / SVD 三层分解 / 二次型曲面

殿堂中央悬着一团无形的力场——一个矩阵。你看见它把空间扭曲、拉伸、旋转,却看不见它的"骨架"。「找它的不变量。」高斯老祖递来一根探针。你拖动向量扫过整个空间,在某几个方向上,向量只被拉伸、方向不变——特征向量。你换了一个非方阵,特征值消失了。

高斯老祖 高斯老祖

「不是所有矩阵都有特征值。但所有矩阵都有奇异值。SVD 属于所有矩阵——A=UΣV^T,旋转×缩放×旋转。」

矩阵解剖台 · 特征探针 + SVD 三层分解

拖探针找特征方向 → 行列式体积动画 → 非方阵触发SVD → 二次型曲面

特征探针 · 拖动向量找不变方向

详解 · K01-05 特征值与特征向量

Av = λv:变换只拉伸、不转向的方向就是特征方向,拉伸倍数 λ 就是特征值。求解走特征方程 det(A−λI)=0。只有方阵才有特征值;对称阵尤其乖——谱定理 A = QΛQᵀ 保证实特征值加一组正交特征向量。应用极广:PCA 的主成分就是协方差矩阵的特征向量,对应特征值就是该方向上的方差大小——降维就是沿特征值从大到小砍方向。

详解 · K01-06 奇异值分解 SVD

任意 m×n 矩阵(不必是方阵)都能写成 A = UΣVᵀ:U、V 是正交阵,Σ 是对角阵且奇异值 σ₁≥σ₂≥…≥0。几何读法:任何线性变换 = 先旋转(Vᵀ)→ 沿坐标轴缩放(Σ)→ 再旋转(U)。Eckart-Young 定理:只保留前 k 个奇异值的截断 SVD,是所有秩-k 矩阵里对 A 的最优逼近(Frobenius 意义下)。推荐系统的协同过滤、图像压缩、大模型 LoRA 微调的低秩思想,根都在这条定理上。

详解 · K01-03 · K01-07 行列式、迹与二次型

det(A) = Πλᵢ 是体积缩放因子:det=0 意味着空间被压扁、信息丢失、矩阵不可逆。tr(A) = Σλᵢ = Σaᵢᵢ 是特征值之和,且有轮换不变性 tr(ABC)=tr(CAB)——推公式时极好用。二次型 xᵀAx 的符号定性格:正定→碗形(唯一极小),负定→倒扣的碗,不定→马鞍面。Hessian 是二次型的曲率矩阵,所以 Hessian 不定的地方就是鞍点——高维里鞍点比局部极小值多得多,这是深度学习优化的真麻烦。

第二幕 · 挣扎→再崩塌

概率之渊 · 贝叶斯觉醒

蒙提霍尔博弈 / 贝叶斯推导 / 全概率 / 先验权重

你跨过一扇门,空气变了——从确定变成了不确定。石台上摆着三个碗,各扣着一颗珠子。高斯老祖:「一颗是灵珠,两颗是空碗。你选了一个。我翻开另一个空碗。现在——换不换?」你的直觉说不换,换了也不会更好。碗揭开——换的人赢了。你的频率直觉算出的概率是 1/2,实际是 2/3。

高斯老祖 高斯老祖

「概率不是数过去了多少次。概率是——给定你知道的,推理你不知道的。P(A|B) = P(B|A)P(A) / P(B)。」

维度之噬 维度之噬

「换不换都一样?你的频率直觉数了 30 次还是错的——它忽略了主持人翻碗提供的新信息。」

蒙提霍尔博弈 + 贝叶斯推导台

三碗选一 → 主持人翻碗 → 换/不换 → 贝叶斯分步推导 → 先验权重实验

详解 · K01-08 概率基础:条件概率与全概率

条件概率 P(A|B) = P(AB)/P(B):把样本空间收缩到"B 已发生"的那一块里重新算比例。全概率公式 P(B) = Σᵢ P(B|Aᵢ)P(Aᵢ):按互斥完备的情形拆分、各自加权再求和——贝叶斯定理的分母就是这么算出来的。独立性 P(AB)=P(A)P(B) 是最强也最常用的简化假设:朴素贝叶斯分类器之所以"朴素",就是假装所有特征条件独立,换来 O(n) 的参数量。

详解 · K01-09 贝叶斯定理:先验→后验

P(H|D) = P(D|H)P(H)/P(D),一句话:后验 ∝ 似然 × 先验。蒙提霍尔的全部机关在于主持人知道答案且故意开空碗——翻碗不是随机事件,是带信息的动作,所以似然 P(开碗3|灵珠在碗2)=1 而不是 1/2。频率派数"重复了多少次",贝叶斯派问"这条证据让我的信念移动了多少"。推论同样重要:先验为零则后验恒为零——封闭的信念,再多证据也更新不动。

第二幕 · 探索

分布长廊 · 分布与统计量

伯努利/二项/高斯/多项式/Dirichlet · 期望·方差·协方差

长廊两侧挂满了分布的画像。伯努利——抛一枚硬币。二项——抛 n 枚。高斯——万物归一。你在每幅画前驻足,用手触摸分布曲线,感受期望的"重心"和方差的"晃动幅度"。高斯老祖指给你看协方差:两个变量一起跳舞时,它们步幅的关联。

高斯老祖 高斯老祖

「方差是一个人的不安,协方差是两个人不安的同步。但相关不等于因果——这点你在 ch03 会再吃一次亏。」

分布画像触摸 · 五种分布 + 统计量骨架 + 协方差舞蹈

触摸五种分布画像 → 拖动参数看曲线变形 → 协方差动画看步幅同步

第二幕 · 概率统计巅峰

高斯之眼 · MLE 与 MAP

多元高斯椭圆 / MLE 最大似然 / MAP 最大后验 / 过拟合演示

穹顶下悬着一团发光的云——多元高斯分布。它的截面是椭圆,主轴方向由协方差矩阵的特征向量决定,长短由特征值决定。你曾见过的特征值分解,在这里重现。「现在——给你一千个数据点,猜这团云的中心和形状。」你凭直觉猜均值和方差——MLE。答对了。「但如果你有先验知识呢?」

高斯老祖 高斯老祖

「MLE 完全相信数据,MAP 留一手给信仰。正态先验恰好等价于 L2 正则化。过拟合的人,都是太相信数据了。」

参数估计台 · 多元高斯 + MLE + MAP + 过拟合

拖 μ/Σ 看椭圆 → MLE 似然最大化 → MAP 加先验 → 5点 vs 1000点过拟合

多元高斯椭圆 · Σ 特征向量=主轴

详解 · K01-12 多元高斯分布

N(μ,Σ) 的等概率密度面是椭球:主轴方向由协方差矩阵 Σ 的特征向量给出,轴长正比于 √λᵢ。Σ 为对角阵时各维独立、椭圆轴对齐坐标系;满秩 Σ 则给出旋转的椭圆。高斯族有极强的封闭性:边缘分布、条件分布仍是高斯——这条性质是高斯过程和卡尔曼滤波能闭式计算的地基。你刚学的特征值分解,在这里第一次以"数据形状"的面目重现。

详解 · K01-13 最大似然估计 MLE

θ̂_MLE = argmax Πᵢ p(xᵢ|θ),取对数把连乘变连加,再对参数求导置零。高斯情形下闭式解是 μ̂ = x̄、σ̂² = (1/n)Σ(xᵢ−x̄)²——注意方差的分母是 n 而非 n−1,所以 MLE 的方差估计系统性偏小(有偏)。MLE 有一致性和渐近有效性撑腰,数据多就是对的;但小样本时它把噪声当规律——5 个点能完美穿过任何疯狂的曲线,训练误差为零,泛化一塌糊涂。

详解 · K01-14 最大后验估计 MAP

θ̂_MAP = argmax p(D|θ)·p(θ):给似然乘上先验。高斯似然 + 高斯先验时,后验均值是数据均值与先验均值按精度(方差倒数)加权的折中;n→∞ 时数据项碾压先验,MAP 退化为 MLE——所以先验只在数据少时发力,恰好是过拟合最危险的时候。关键数学事实:高斯先验 ⟺ L2 正则化,拉普拉斯先验 ⟺ L1 正则化。你在训练时加的 weight decay,本质上就是在做贝叶斯推理。

第二幕 · 信息论顿悟

信息之火 · 熵与交叉熵

熵 / KL散度 / 交叉熵 / 互信息

火塘前没有火焰,只有一串不断变化的概率分布。高斯老祖:「这团火的温度,就是它的熵——不确定性。」你看见均匀分布熵最高(什么都可能),确定分布熵为零(没有悬念)。你把一个分布换成另一个,损耗的能量浮现——KL 散度。「你的模型每次猜错,就在付交叉熵的代价。」

高斯老祖 高斯老祖

「交叉熵 = 真实熵 + 你比真实多出来的无知。学习是什么?是压缩。每一个神经网络,都在最小化 KL 散度。」

信息之火 · 熵温度计 + KL散度 + 交叉熵 + 互信息

拖分布看熵温变化 → 双分布KL光流 → 交叉熵三段展开 → 互信息光流

熵温度计 · H(X) = -Σ p log p

详解 · K01-15 信息论基础:熵与条件熵

H(X) = −Σp(x)log₂p(x) 是不确定性的度量,单位 bit。两个极端:均匀分布熵最大(log₂n,什么都可能),确定分布熵为零(没有悬念)。条件熵 H(X|Y) 是"已知 Y 后 X 剩余的不确定性";联合熵满足 H(X,Y) ≤ H(X)+H(Y),等号当且仅当独立。香农的深刻之处在于:熵同时是无损压缩的极限——一个信源平均每个符号最少需要 H(X) 个 bit 编码。学习即压缩,源头在这里。

详解 · K01-16 KL 散度与交叉熵

D_KL(P‖Q) = Σp log(p/q) ≥ 0(Gibbs 不等式),当且仅当 P=Q 时取零。注意它不对称、不满足三角不等式——它是"用 Q 近似 P 的编码代价",不是距离。交叉熵 H(P,Q) = H(P) + D_KL(P‖Q):训练分类器时 P 是真实标签分布、H(P) 是无法改变的常数,所以最小化交叉熵损失 ⟺ 最小化模型分布与真实分布的 KL 散度 ⟺ 对数据做最大似然。三个视角,同一件事。

详解 · K01-17 互信息与信息增益

I(X;Y) = H(X) − H(X|Y) = D_KL(p(x,y) ‖ p(x)p(y)):知道 Y 平均替你消除了多少关于 X 的不确定性。它对称、非负,X 与 Y 独立时恰为零。决策树每选一次划分特征,就是在最大化信息增益(ID3/C4.5 的核心判据);表征学习里的对比学习目标 InfoNCE,本质是互信息的下界最大化——让同一样本的两个视图之间互信息尽可能大。

第三幕 · 顿悟→突破引信

高维裂隙 · 维度灾难

距离失效 / 数据稀疏 / 体积爆炸 / Glorot·He初始化 / Jacobian·Hessian

你站在一个一百维的坐标原点。高斯老祖递来一千个数据点。你按三维直觉投放——它们瞬间消失在浩瀚的空间里,稀疏得像真空。你测量任意两点的距离——最近和最远几乎一样。「在三维里,你知道远近。在一百维里,远近没有了。」维度之噬的声音从四面八方传来:「欢迎来到我的领地。」

高斯老祖 高斯老祖

「Glorot 让方差守恒,He 为 ReLU 而生——初始化不是随便填数。Jacobian 是变换的局部拉伸,Hessian 是曲率——你前面学的,在高维里都还在。」

维度之噬 维度之噬

「你的三维直觉说'随机填就好'。一万维说'不行'。我等的就是这一刻。」

高维实验台 · 维度滑块 + 初始化对比 + 矩阵微积分

拖维度滑块看距离/稀疏/体积 → 四种初始化对比 → Jacobian/Hessian 展开

维度灾难实验 · 拖动维度 d: 2

详解 · K01-18 随机矩阵直觉:Glorot 与 He 初始化

前向传播时,若权重独立同分布、方差 Var(w),则每层输出方差约为 n_in·Var(w)·Var(x)。要信号在几十层里既不消失也不爆炸,必须让方差逐层守恒:Glorot/Xavier 给出 Var(w) = 2/(n_in+n_out),为 tanh 这类对称线性区激活设计;ReLU 把一半信号清零,等效损失一半方差,所以 He 初始化把方差加倍到 2/n_in。全零初始化则是另一种死法:所有神经元梯度完全相同,对称性永远无法打破,整个网络退化成单个神经元。初始化不是玄学,是方差守恒的工程设计。

详解 · K01-19 矩阵求导:Jacobian 与 Hessian

Jacobian Jᵢⱼ = ∂fᵢ/∂xⱼ 是向量函数的局部线性近似——就是 S1 那块"变换矩阵"的逐点版本:在每一小片邻域里,任何光滑函数都近似一个矩阵变换。Hessian Hᵢⱼ = ∂²f/∂xᵢ∂xⱼ 是标量函数的曲率矩阵,它的正定性决定你站在碗底还是马鞍上,特征值谱决定条件数、决定梯度下降要震荡多久。矩阵链式法则 ∂L/∂W = (∂L/∂y)(∂y/∂W) 配上"形状匹配"的书写纪律,就是 ch06 反向传播推导所需的全部微积分。

第三幕 · 最高潮

Boss 战 · 维度之噬

三问对决 · 维度债清算 · 排除法收网

一千维空间骤然坍缩成一片黑暗。维度之噬凝成一道没有五官的裂隙,吞噬着所有方向。「我是维度之噬。我不住在你的无知里——无知救不了我。我住在你'三维直觉可以无限外推'的傲慢里。你每以为高维和三维一样,我就胖了一圈。三问。答错一题,我涨一分。」

维度之噬 维度之噬

「让我看看你这趟蕴灵宗,是学明白了,还是背明白了。你手里唯一的武器是基石上三道裂痕——每一道都是你亲手验证过的'此路不通'。」

维度债累计 0 笔 · 三问全对后清零

第三幕 · 收束

尾声 · 数理筑基

知识图谱点亮 · 境界突破 · ch02 伏笔

裂隙弥合时天刚破晓。你手里的数学基石微微发光——不是它变了,是你变了。三道裂纹还在,但裂纹里渗满了翠光——不是消失了,是长好了。高斯老祖:「你筑基了。不是因为你答对了三问——答对的会忘。是因为你摔过的每一道裂纹,都变成光。」

高斯老祖 高斯老祖

「但——你知道这些方程怎么变成代码吗?你知道 NumPy 的向量化比 for 循环快多少倍吗?明天,我们去取你第一把法器。那把法器叫 Python。」

知识图谱 · 19 碎片点亮 + 境界突破

逐一点亮 19 个知识碎片 → 三色簇连线成网 → 境界突破

复盘 · 三度崩塌与一张地图

本章三道裂痕,每一道都是一次直觉的死亡:其一,矩阵不是数表,是空间变换——所以神经网络每层都在扭空间;其二,概率不是频率,是信念的推理——所以训练是用证据更新参数;其三,高维不是三维的延伸,是距离失效、数据真空的异域——所以直觉在高维一文不值。但崩塌的另一面是收获:线性代数给你语言(K01-01~07),概率统计给你推理(K01-08~14),信息论给你尺子(K01-15~17),而随机矩阵与矩阵微积分(K01-18~19)告诉你这些工具在高维依然有效。深度学习之所以在一万维里能工作,是因为真实数据活在低维流形上——特征值、SVD、信息论,正是找到那个流形的地图。下一章代码炼器:把这套地图写成 Python。

交互实验

向量点积与夹角

拖动两个二维向量,观察点积、模长与夹角的关系。