注意力觉醒

结丹期的殿堂浮在虚空里，门楣上刻着一行字——Attention Is All You Need——金漆剥落了一半。门内没有路，只有一张巨大的、空白的矩阵网格——n 行 n 列，每个格子都空着。高斯老祖站在网格下，手里握着三把发光的钥匙。

高斯老祖

「你在时序之河里证明过一件事——递推链上梯度会死。注意力绕过了那条链。但它有自己的代价。先告诉我——四种架构里，哪一种最适合处理长序列依赖？」

殿中央悬浮着三块发光的变换矩阵碑——W_Q、W_K、W_V，旁边躺着一串输入向量 X。高斯老祖把三把钥匙递给你：「让每个位置自己决定'我要问什么'（Q）、'我能回答什么'（K）、'我手里有什么'（V）。然后让 Q 和 K 互相点乘——看看会发生什么。」

高斯老祖

「RNN 靠递推传信息，CNN 靠卷积扫局部。注意力靠什么？靠让每个位置自己决定问什么、答什么、给什么。把 X 分别乘上这三块碑——然后让 Q 和 K 互相点乘。你算算那是多少次运算。」

缩放台上摆着一组滑块：d_k 维度旋钮。高斯老祖指着原始论文里的公式：「你写的是 softmax(QK^T)V，但论文写的是 softmax(QK^T/√d_k)V——多了个 √d_k。你觉得它多余？拧一下 d_k 试试，看你的 softmax 会变成什么。」

高斯老祖

「假设 q、k 各分量独立、均值 0、方差 1，则 q·k=Σq_i·k_i 的方差是 d_k。d_k=64 时标准差 8，d_k=512 时标准差约 22.6。点积一大，softmax 就饱和——输出变成 one-hot，梯度归零。1/√d_k 不是装饰品。」

缩放台之后是一条狭长的回廊，回廊尽头是一面巨大的空白矩阵墙。高斯老祖把序列长度旋钮从 512 拧到 8192——墙上瞬间浮现出无数格子，显存计数器从 1GB 跳到 128GB。注意力之渊的声音从墙后传来：「翻倍序列，翻四倍计算。你亲手拧的。」

高斯老祖

「自注意力的代价不在线性增长——在平方增长。注意力矩阵本身有 n² 个元素，n=4096 时就是 1600 万个。序列翻倍，注意力矩阵翻四倍。这不是工程问题，是数学问题。」

多头殿中央悬浮着一面棱镜——一束白光射入，被拆成 8 道不同颜色的光。高斯老祖：「一个注意力头，是一种'看'的方式。但一句话里，'看'的方式不止一种——有的头看语法结构，有的看语义关联，有的看指代消解。把 d_model 拆成 8 份，每份跑一个独立的注意力。」

高斯老祖

「多头不是'算更多'，是'看更多角度'。同一个 d_model，单头是一个 512 维视角，多头是 8 个 64 维视角的并行——总参数不变（h×d_k=d_model），但子空间的多样性让模型同时捕获不同类型的关系。」

位置钟楼里悬着一口大钟，钟面刻着 sin 和 cos 的纹路。高斯老祖让你把输入序列打乱——注意力输出竟然完全不变。「你的注意力能看见所有位置。但它——分不清位置。注意力是排列不变的，它不知道谁在前谁在后。」

高斯老祖

「打乱顺序，输出不变——多公平，公平到它根本不知道'第一个'和'最后一个'有什么区别。位置编码是把'顺序'这层信息重新缝回去。正弦用不同频率的波覆盖不同尺度，RoPE 把旋转缝进 Q/K 点积让相对位置自然涌现。」

编码殿的墙上刻着一行字："Self-Attention + FFN + Residual + LayerNorm = One Encoder Layer"。解码殿的墙上有两扇窗——左窗"Masked Self-Attention"，右窗"Cross-Attention"。高斯老祖：「编码器看输入，解码器生成输出。但生成时第 t 个词只能看到第 1 到 t 个词——这就是掩码。而交叉注意力，是解码器向编码器提问的唯一通道。」

高斯老祖

「注意力负责'看见全局'，FFN 负责'消化信息'，残差负责'梯度活路'，LayerNorm 负责'尺度稳定'。解码器还多两把钥匙——掩码自注意力保证因果性，交叉注意力让信息从编码器流向解码器。去掉任何一个，Transformer 都不是 Transformer。」

你拼出了完整的 Transformer，正准备处理超长文本。高斯老祖把测试序列长度从 512 拉到 4096——性能曲线像被人从中间折断。注意力之渊完整现身，化作一面刻满公式的水晶之壁：「你以为拼出来就是终点？序列超过训练长度，你的位置编码就失效了。」

高斯老祖

「正弦位置编码理论上可外推（连续函数），但效果一般；学习式不可外推（超出训练范围即失效）；RoPE 兼顾外推与效果；ALiBi 极简外推。位置外推是长序列的第二道墙——第一道是 O(n²) 计算量，第二道是位置外推。」

水晶之壁前，高斯老祖递给你四把新钥匙：「壁不会消失。但你可以穿过它。标准注意力 O(n²)，Linformer 用低秩近似把 K/V 投影到低维，Performer 用核函数近似 softmax，FlashAttention 不减少计算而减少 GPU 读写显存的浪费——同样的注意力，O(n) 内存而非 O(n²)。」

高斯老祖

「FlashAttention 是精确的——它不近似注意力，它优化的是 IO。把分块计算留在 SRAM 里，HBM 读写从 O(n²) 降到 O(n²/M)。Linformer 和 Performer 是近似——用低秩或核函数换线性复杂度，但牺牲精度。精确 vs 近似，是破壁的两条路。」

水晶壁从地面升起，遮蔽了整个视野——冰冷、透明，壁面上刻满了公式：n²、n²d、2n²dL。注意力之渊完整现身，它的声音没有情绪，像在陈述一条物理定律：「我是 O(n²)之壁。我不住在你的无知里。我住在你的注意力里。你每让一个位置看向另一个位置，我就长一块砖。三问。答错一题，我就厚一分。」

壁散尽后，全景图重新亮起——但比之前更广阔。你看见 Transformer 的种子落入了无数领域，长成你未曾想象的形状。高斯老祖指着远方的地平线：「机器翻译、BERT、ViT、DETR、MoE——每一扇门背后，都是 Transformer 的一个变体。你穿过了壁。现在看看——你手里这把钥匙，打开了多少扇门。」

高斯老祖

「你从加权平均的误解开始，推出 Q/K/V，发现 n×n，推导缩放因子，拆出多头子空间，补上位置编码，组装编码器与解码器，撞见 O(n²)之壁，又以 FlashAttention 破壁而出。注意力即一切——但'一切'背后是 n² 的代价。结丹一层·注意觉醒，你已圆满。但下一座山，是预训练与规模化——为什么 Transformer 越大就越强？」