序列寻踪

五张任务卡对应 RNN 的三大经典战场：序列到序列映射（机器翻译——BLEU 随句长下降，长句需 50+ 步对齐记忆；语音识别——16kHz 采样下 10 秒音频即 16 万步）、序列自回归生成（音乐生成——跨小节的乐句结构依赖）、时间序列预测（股票预测——60 日均线等长周期指标）与序列分类（情感分析——「它」指代 20 词前的实体）。公共前提正是 S0 台上的谜底：输出依赖「几步之前的信息」。归纳偏置视角：CNN 假设局部平移不变，RNN 假设时间因果 + 权重跨时间共享——参数量与序列长度无关。2017 年后注意力在离线翻译上全面取代 RNN，但流式语音（RNN-T 的预测网络）与边缘端低延迟场景仍保留递推结构——选型标准不是谁最强，是谁的时间结构对得上任务。

序列数据的两个本质属性：①时序依赖——顺序即信息，「猫追狗」与「狗追猫」词集相同而语义相反，位置本身就是特征；②变长输入——长度携带自由度，语言/音频/日志的长度分布都是长尾。批处理的两难：矩阵运算要定形，序列不定形 → 最短路径是 padding 补零对齐，代价是必须 mask——loss 计算与「取最终隐状态」都要跳过补零位，否则零位污染统计；更省的替代是按长度分桶（bucketing）减少无效补零。变长的另一端是超长截断（overflow）——S1 台上 fixed 槽位 + 显式补 0 + 超长溢出标注，就是变长处理的全部要素缩影。固定输入位宽的 MLP 无法原生处理上述任何一条：序列问题天然要求「读一步、记一步、再看下一步」的结构。

两条公式撑起整个 RNN：h_t = tanh(W_xh·x_t + W_hh·h_{t-1} + b_h)，y_t = W_hy·h_t + b_y。三个设计抉择：①权重跨时间共享——同一组 (W_xh, W_hh, W_hy) 在每个时间步复用，参数量只随状态维度增长、与序列长度 T 无关，这是与「把序列摊平喂 MLP」的本质区别（摊平不仅参数爆炸，还把长度焊死在输入位宽上）；②tanh 把每步状态压回 (−1,1) 防递推发散——但它的导数上界为 1 且仅在中段取大值，为 S4 的梯度消失埋下伏笔；③h_0 通常初始化为零向量。h_t 的语义：对「到 t 为止全部输入」的有损压缩摘要——无限长的历史、定长的状态。这份优雅同时是 RNN 全部困境的根源：S4 的梯度要沿它连乘，S8 的瓶颈要把它压进一个向量。

五步推导：①展开——把递推环复制 T 份成前馈链，h_0…h_T 各占一个副本，共享权重标注为同一变量；②输出梯度——∂L/∂y_t 由损失函数直接给出；③状态回传——∂L/∂h_t = W_hy^T·(∂L/∂y_t) + W_hh^T·(∂L/∂h_{t+1})，注意 h_t 有两条下游（当前输出 + 下一时刻状态），来自两条路径的梯度相加；④权重累加——∂L/∂W_hh = Σ_t (∂L/∂h_t)·h_{t-1}^T，同一 W_hh 被 T 个位置复用，梯度沿全部时间步求和；⑤连乘雅可比——∂h_t/∂h_k = Π W_hh^T·diag(1−h_i²)（i 从 k+1 到 t），每回溯一步乘一次，这就是推导台上高亮闪烁的那一串。工程近似：截断 BPTT（TBPTT，k≈20~35 步）只回看 k 步，省显存且常不损精度，但硬性切断远于 k 步的梯度——与 S4 的「消失」合流后，网络实际上学不到远距离依赖。与 MLP 反传唯一的新东西，就是⑤那串连乘。

连乘幅值由每步因子的上界决定：||W_hh||·γ，γ = max|tanh′| = 1。||W_hh||=0.9 时回溯 100 步 → 0.9¹⁰⁰ ≈ 2.7×10⁻⁵，200 步 → 7×10⁻¹⁰——正是实验台 log 轴上那道悬崖；1.1 则反向指数爆炸直至数值溢出；恰好 1.0 是不稳定的临界点（任何扰动都会把它推向一侧）。Bengio 1994 的判决：梯度随时间距离指数衰减，学习率救不了——放大梯度会先撑爆近端。处置是不对称的：爆炸可治——梯度裁剪 g ← min(1, c/||g||)·g（Pascanu 2013，保方向压幅值，c≈1~5），勾选后实验台上爆炸曲线立即驯服；消失不可裁——裁剪只压「太大」，压不了「太小」，唯一出路是改结构（S5 的门、S6 的加法通道）。初始化对策：正交初始化让谱半径 ρ(W_hh)≈1，把悬崖推迟但不消除。

Hochreiter & Schmidhuber 1997。一套公式一条通道：f_t = σ(W_f·[h_{t-1},x_t]+b_f) 遗忘门——橡皮擦，0=全删、1=全留；i_t = σ(W_i·[h_{t-1},x_t]+b_i) 与 g_t = tanh(W_g·[h_{t-1},x_t]+b_g) 输入门+候选——钢笔，一个管「写多少」、一个管「写什么」；C_t = f_t⊙C_{t-1} + i_t⊙g_t——cell state 加法更新，LSTM 的心脏；o_t = σ(W_o·[h_{t-1},x_t]+b_o)、h_t = o_t⊙tanh(C_t) 输出门——滤镜，控制「吐多少」。三门操控台演示的正是解耦价值：「留什么、写什么、吐什么」各有独立权重，信息不再被激活函数无差别挤压。工程细节里藏着大学问：Jozefowicz 2015 扫描海量架构后发现 b_f 初始化到 1~2（遗忘门默认常开）是训练成败最敏感的一处——默认「记住」远好于默认「忘记」。参数账：同维度下 LSTM 4 组门权重、GRU 3 组、朴素 RNN 1 组。

CEC 的数学一句话：对 C_t = f_t⊙C_{t-1} + i_t⊙g_t 求 C_{t-1} 的偏导得 ∂C_t/∂C_{t-1} = f_t（逐元素）——梯度流只受遗忘门调制，完全绕开 tanh 导数连乘。回溯 k 步即 Π f_t ≈ f^k：f=1.0 梯度无损，这就是恒定误差旋转器（Constant Error Carousel，Hochreiter 1997 论文的原生命名，指的就是这条无激活函数的加法通道本身）；f=0.99 → 0.99¹⁰⁰ ≈ 0.37，远端仍可训；f=0.9 → 0.9¹⁰⁰ ≈ 2.7×10⁻⁵，一夜退回朴素 RNN——对比台上 f_t 滑块从 1.0 拉到 0.9，百步梯度相差四个数量级，就是这三条算式。Greff 2016 的大规模消融（5000+ 次实验）给出裁判：去窥视孔（peephole）几乎无损、耦合输入门与遗忘门无损、动 cell state 的加法通道伤害最大——门的数量是装饰，CEC 才是灵魂。

Cho 2014。三门并两门：z_t = σ(W_z·[h_{t-1},x_t]) 更新门一手包办遗忘+输入——h_t = (1−z_t)⊙h_{t-1} + z_t⊙h̃_t，保留比例 1−z_t 与写入比例 z_t 此消彼长（互补约束），这正是「一手管两件事」的数学含义；r_t = σ(W_r·[h_{t-1},x_t]) 重置门只管候选状态能看多少历史——h̃_t = tanh(W·[r_t⊙h_{t-1}, x_t])。结构差异：没有独立 cell state，h 一条通道直通，少一条状态变量 = 少一份显存与同步开销。参数账：3 组 vs LSTM 4 组，省约 25%——组装台上的对比数字。效果之争的裁决来自系统对比（Greff 2016；Britz 2017）：GRU 与 LSTM 在翻译/语言建模上统计相当，选哪个是超参数问题而非原则问题。经验法则：小数据、要快、要省 → GRU；超长依赖、大数据 → LSTM 仍略稳。

双向 RNN（Schuster & Paliwal 1997）：前向 h→ 与后向 h← 两条独立递推链，t 时刻输出取拼接 [h→_t ; h←_t]——同时拥有前文与后文语境。它是词性标注、NER、机器翻译编码器的标配，因为「理解第 t 个词」天然需要看两边；拼接台上两条彩色通道汇入同一节点就是这个结构。硬约束：后向链必须等序列到齐才能算完——双向结构无法流式、无法实时生成，解码器（自回归逐词产出）永远只能单向。深层 RNN（stacked）：第 l 层的输入是第 l−1 层各步的输出序列，逐层抽象（字符→词→短语→语义的层级直觉来源）；代价是梯度链长度 = 时间步 × 层数，叠加滑块每拉一层链就长一截——2~4 层是实用区间，再深需要残差连接续命。两条扩展都增强了表达，但都还锁在「沿时间走」的范式里——直到注意力。

语言模型的唯一目标：给「到当前位置为止的概率」打分——P(w_1…w_T) = Π_t P(w_t | w_{

理论基础是分布式假设（Firth 1957：「一个词的含义由它出现的上下文决定」）：共现窗口统计里隐含语义，Word2Vec（Mikolov 2013）是对它的高效提取。两条训练路线：CBOW 用上下文预测中心词——一步聚合、快，适合高频词与大数据；Skip-gram 用中心词逐个预测上下文——样本多、慢，但生僻词与小语料表现更好，台②切换开关的两档。Levy & Goldberg 2014 给出理论解释：SGNS 隐式地在分解移位后的 PMI 矩阵。计算诀窍是负采样：把 V 类 softmax 换成「1 正 + k 负」的二分类（k≈5~20），训练成本与词表大小脱钩。存储账：V×d 嵌入矩阵（V=10⁵、d=300 → 3×10⁷ 参数）替代 V² 共现矩阵（10¹⁰），约 300 倍压缩。语义几何化之后，「相似」有了精确含义：向量夹角余弦——方向携带语义，模长多与词频纠缠，比较前常做归一化。

内在评估三板斧：①词类比——king − man + woman ≈ queen，用 3CosAdd 在全词表找 argmax cos(w, c − a + b)（Mikolov 2013 的语义/语法两类数据集，台③的算式）；②人评相似度——WordSim-353、SimLex-999 上算余弦与人工打分的 Spearman 相关；③可视化——t-SNE 保持局部邻域结构，语义簇与「性别/时态/首都↔国家」的平行四边形几何肉眼可见（台③右侧投影）。外在评估：冻结嵌入接到下游任务（NER/情感分类）看 Δacc。两个警示：类比命中常可被词频伪影解释（Linzen 2016——高频词爱聚堆，得分可能是统计捷径而非语义）；嵌入把语料的偏见也几何化（Bolukbasi 2016：he : she ≈ programmer : homemaker 的职业偏置方向）——语义向量既继承词义，也继承语料的阴暗面。

Sutskever 2014。三段式架构：编码器 RNN 读入源句逐步更新 h_t，末状态 h_T 即 context vector c（固定 d 维）→ 解码器以 c 为初始状态自回归生成，训练用 teacher forcing（喂真词），推理喂自己上一步的输出。两个红利：源/目标长度彻底解耦（变长→变长）；Sutskever 发现把源句词序倒过来喂——缩短目标首词与源句末词的依赖距离——显著提效。命门正是台④的崩塌：c 定长，五十个词的信息必须挤进同一个向量，解码端只能取回有损压缩的残影；Cho 2014 已观测句长超出训练分布后翻译质量断崖，Bahdanau 2015 的 BLEU-长度曲线同样单调下坠——拖长滑块看到的 c 节点溢出就是这个实验。破局预告（S9 Boss 战的钥匙）：让解码器每一步都回头对编码器全部状态加权取用，c 从「一个静态向量」变成「每步动态加权和」——瓶颈就此消失，注意力登场。