语言通神
你以为它理解了你说的话。可在语言之门，真正的机制是"预测下一个词"——它没有理解任何意思，只是在每一步从概率分布里挑一个词。温度越高越敢挑小概率词，也就越敢胡说。幻觉之影在暗处立赌：你分不清流畅与正确。
语言之门
语言之门的门楣上刻着八个字：逐词成章，通神在涌。门内是一片悬浮的词海——海面上漂浮着无数 token，有的在组成诗句，有的在写代码，有的 token 已碎成概率噪声。高斯老祖站在门内，手里只有一块黑板，上面写着：语言模型没有理解，只有预测。词海深处传来一万张 GPU 训练的嗡鸣。
高斯老祖
「你想让机器通晓语言。先搞清楚——大语言模型最令人惊讶的能力是什么？词海上有四扇门，你猜哪一扇通向真正的惊喜？」
幻觉之影
「又来了一个想通神的。打个赌——你觉得 LLM 最令人惊讶的能力是什么？我赌你猜不到。你的每一次猜错，我都会记进幻账。」
能力预测挑战器 · 四选一反直觉下注
反直觉下注（四选一，可连错）→ 逐个点击揭示 → LLM 能力全景图拼合
LLM 能力全景 · 涌现之谜
详解 · K13-01 LLM的定义与核心特征：规模/涌现/通用性
大语言模型指在超大规模文本上以自监督目标（预测下一个 token）预训练、参数达数十亿至万亿量级的神经网络语言模型，三个定义性特征是规模、涌现与通用性。规模可手算：GPT-3（Brown et al., 2020）96 层、d_model=12288，每层约 12d²（注意力 4d² + FFN 8d²），非嵌入参数约 12×12288²×96 ≈ 1.74×10¹¹，加词嵌入 50257×12288 ≈ 6.2×10⁸，合计约 175B，训练语料约 300B tokens。涌现（Wei et al., 2022）指某能力在小模型上近随机、越过规模阈值后骤升——如多位数乘法 PaLM 8B 近乎瞎猜、540B 逼近 80%，是相变而非渐进改良。须听反方：Schaeffer et al.（2023）指出许多"涌现"是精确匹配这类非线性度量制造的假象，换成对数似然等连续指标曲线其实平滑，故稳妥表述是"现象真实、机理待定、对度量敏感"。通用性指同一模型无需任务专用头、仅靠提示即可完成翻译问答编码。台上四选一把"推理"设为正解正对应此：记忆可被检索替代、翻译是统计时代延续、编程是结构化语言延伸，唯推理是规模带来的、最令人不安的惊喜。教材对照：Brown 2020、Wei 2022；Jurafsky & Martin《SLP》第3版神经语言模型章。
详解 · K13-11 主流LLM对比：GPT-4/Claude/LLaMA/Mistral/Qwen
按发布时间线排布可避免张冠李戴。GPT-3（OpenAI，2020-06，175B）确立少样本范式；InstructGPT（2022）引入 RLHF；ChatGPT（2022-11-30）引爆对话；GPT-4（2023-03-14）技术报告刻意不披露参数与数据，坊间"约 1.8T 参数、8×220B MoE"仅为传闻，未经官方证实，引用须标注不确定。开源线：Meta LLaMA（2023-02，7/13/33/65B）放出权重触发复刻潮，Llama-2（2023-07-18，7/13/70B，2T tokens，可商用），Llama-3（2024-04，8B/70B，约 15T tokens）；Mistral 7B（2023-09，Apache 2.0，用 GQA 与滑动窗口注意力、32k 上下文，多项基准超越 Llama-2-13B），Mixtral 8x7B（2023-12，稀疏 MoE、激活约 13B）；Anthropic Claude 走 Constitutional AI 对齐路线；阿里 Qwen（2023-08 起，中英双语多尺寸）。选型三问：许可证（LLaMA-1 限研究、Mistral Apache 2.0 可自由商用）、参数与推理成本（7B FP16 约需 14GB 显存、INT4 量化后约 4GB）、数据与评测透明度（有无 Model Card、基准是否去污染）。台上"能力全景"拼合的正是这张版图：没有单一霸主，只有场景适配。教材对照：各模型技术报告。
详解 · K13-17 LLM的代码生成能力：Codex/CodeLlama
代码是结构化语言，与自然语言同源，故 LLM 天然能续写程序。Codex（Chen et al., 2021）是 GPT-3 在约 159GB 英文 GitHub 公开代码上微调的产物，驱动 GitHub Copilot；论文同时提出 HumanEval——164 道手写 Python 题，用 pass@k 度量功能正确性，无偏估计为 pass@k = E[1 − C(n−c,k)/C(n,k)]，n 为采样次数、c 为其中通过的次数。手算 pass@1：由公式 pass@1 = 1 − C(n−c,1)/C(n,1) = 1 − (n−c)/n = c/n；若某题采样 n=200 次、c=40 次通过，则 pass@1 = 40/200 = 0.2。k 增大时 pass@k 单调上升（"k 次里有一次对就算过"），故报告必须注明 k。实测：Codex 在 HumanEval 上 pass@1 约 28.8%，原始 GPT-3 近 0%；把采样拉到 pass@100 约 72.3%，是重复采样换来的近 2.5 倍提升。Code Llama（Rozière et al., 2023）基于 Llama 2，提供 7/13/34B，支持中间填充（FIM）、长上下文（16k 起可外推至 100k）与 Python 专用变体。台上 S0 把"编程"归为"结构化语言的延伸"正对应此：它仍是预测下一个 token，只是词表里多了缩进与括号。教材对照：Chen 2021、Rozière 2023。
预言之池 · 逐词成章
词海尽头是一片圆形的池——池水不是水，是概率。高斯老祖递给你一支灵笔：「写下开头，池水会告诉你下一个词。」你写下"从前有一座山"，池面浮起十个词，每个词标着概率——"山"42%，"上"18%，"有"12%……你点了"山"，它成了新的上下文，池面重新浮现概率。
高斯老祖
「这就是自回归生成——每一步只预测下一个 token，然后把生成的 token 拼回上下文，再预测下一个。它没有"理解"任何意思，只是在每一步从概率分布里挑一个词。温度参数控制分布的尖锐度：T 越低越贪心，T 越高越敢挑小概率词。」
幻觉之影
「它只是在猜下一个词。猜得越流畅，你就越相信它理解了。但流畅和正确，是两回事。」
token 生成可视化器 · 概率分布 + 温度采样
输入开头 → 点击灵笔逐 token 生成 → 拖温度滑块看概率分布尖锐度变化
提示词输入
token 生成 · 概率分布
详解 · K13-02 自回归文本生成：采样策略详解
自回归生成的数学骨架是链式法则：把序列联合概率分解为 P(x₁…xₙ) = Πₜ P(xₜ | x₁…xₜ₋₁)，每项只条件于左侧历史。Decoder-only Transformer 用因果掩码保证第 t 位只看得到 ≤t 的 token，训练时每个位置都产生一个交叉熵损失，故监督信号是逐 token 的。推理是迭代过程：前向得到词表维度 V 的 logits z（GPT-2/3 的 V=50257，BPE 子词），softmax 成概率，按策略挑一个 token，拼回上下文再前向——生成 n 个 token 就要 n 次前向。工程上用 KV 缓存把已算过的 Key/Value 存下，避免每步重算前缀，把每步增量成本压到 O(n)。挑选策略谱系：贪心（取 argmax，确定但易重复）、束搜索（保留 b 条最优路径，翻译常用但生成偏平淡）、随机采样（按概率抽签，多样但可能跑偏），后两者再由温度、Top-K、Top-P 调制。台上预言之池每次点一个词、池面重浮概率，正是"预测下一个 token 再拼回上下文"的循环；柱状高低即 P(xₜ|x<ₜ)，池水不是水，是概率。教材对照：Jurafsky & Martin《SLP》第3版神经语言模型章、Radford 2018/2019。
详解 · K13-10 LLM架构选型：Decoder-only/Encoder-Decoder
Transformer 有三种装配方式，选型决定能力边界。Encoder-only（BERT 系）：双向注意力、每位看全句，擅长判别式理解（分类、NER、检索），但不能自回归生成。Decoder-only（GPT 系）：因果注意力、只看左侧，训练目标即"预测下一个 token"，天生会生成，且规模放大后涌现上下文学习——当今主流 LLM 的选择。Encoder-Decoder（T5、BART）：编码器读输入、解码器生成输出，适合翻译摘要等 seq2seq，但两套栈更重、提示接口不如 decoder-only 统一。为何 decoder-only 胜出：目标统一，一个 next-token loss 覆盖所有任务、扩展定律干净；少样本直接在提示里完成、无需改结构；单栈推理与 KV 缓存简单。注意力变体也在演进：Ainslie et al.（2023）的 GQA（分组查询注意力）让多个查询头共享一组 Key/Value 头，显著压缩 KV 缓存显存，被 Llama-2/3、Mistral 采用，MQA 是其全共享的极端。台上 S1 的自回归逐 token 落子就是 decoder-only 的运行时写照——因果掩码下每步只条件于左侧，这也是它能一路续写、却不能回看未来的根因。教材对照：Ainslie 2023、Raffel 2020（T5）、Vaswani 2017。
解码阁 · 温度与采样
池水旁边立着三块石碑，分别刻着"贪心""Top-K""Top-P"。高斯老祖指着贪心碑：「贪心解码每步选最高概率词——稳定但死板，容易陷入重复。」又指向 Top-K 碑：「Top-K 只从 K 个最高概率词中采样，砍掉长尾。」最后指向 Top-P 碑：「Top-P 核采样更聪明——累积概率达到 P 的最小词集合，动态截断。」
高斯老祖
「贪心解码输出稳定但重复——'从前有一座山山上有座庙庙里有座庙'。采样输出多样但可能跑偏。Top-K 和 Top-P 是折中：既保留多样性，又砍掉概率太低的胡言。你选的不是'最好的策略'，是'最适合你任务的策略'。」
解码策略实验台 · 温度/Top-K/Top-P + 贪心vs采样
切换贪心/Top-K/Top-P → 拖三个滑块 → 看概率分布截断 + 输出对比
解码参数
候选词概率分布 · 截断可视化
贪心 vs 采样 · 输出对比
详解 · K13-03 温度Temperature与Top-K/Top-P采样
温度、Top-K、Top-P 是调制采样分布的三把刀。温度 T 作用于 logits：p_i = exp(z_i/T) / Σⱼ exp(z_j/T)。手算一组：设 z=[2,1,0]，T=1 时 softmax = [0.665, 0.245, 0.090]；T=0.5 时 z/T=[4,2,0] → [0.867, 0.117, 0.016]（更尖，趋近 argmax）；T=2 时 z/T=[1,0.5,0] → [0.506, 0.307, 0.186]（更平，趋近均匀）。故 T→0 是贪心/one-hot，T→∞ 是均匀采样，T 只改分布尖锐度、不改模型知识。Top-K（Fan et al., 2018）：只保留概率最高的 K 个 token、其余置零后重归一化，砍掉长尾胡言，但 K 固定、不自适应分布陡缓。Top-P/核采样（Holtzman et al., 2020）：按概率降序累加，取累积和首次 ≥P 的最小词集，P 小激进（少词）、P 大保守（多词），能随分布形状动态截断。工程细节：台上 JS 用 p^(1/T) 再归一化实现温度——这与 softmax(z/T) 等价，因为若 p_i=exp(z_i)/Z，则 p_i^(1/T) 归一化后恰为 exp(z_i/T)/Σexp(z_j/T)。滑块默认 T=0.7、Top-K=40、Top-P=0.90 是常用稳健档。教材对照：Holtzman 2020、Fan 2018、HuggingFace 生成文档。
详解 · K13-04 重复惩罚与生成多样性控制
贪心解码常陷入退化重复——台上"山山有庙庙有庙"就是典型：最高概率词被反复选中，形成自我强化的循环。控制手段有几类。重复惩罚 repetition_penalty θ（Keskar et al., 2019, CTRL）：对已出现过的 token，若其 logit 为正则除以 θ、为负则乘以 θ（θ>1），压低它再次被选的概率。OpenAI API 的 frequency_penalty 与 presence_penalty 更直接：z_i ← z_i −（frequency_penalty × 该词已现次数 + presence_penalty × 是否已现），前者随出现次数线性累罚、后者只罚一次。no_repeat_ngram_size=n 则硬性禁止任何已出现过的 n-gram 再现，简单粗暴但可能误伤必要重复（代词、专有名词）。还有对比搜索（Su et al., 2022）在解码目标里加退化惩罚项，兼顾连贯与多样。核心权衡：惩罚过强会牺牲流畅与必要复现、逼出低频怪词，过弱又压不住复读。多样性与准确性此消彼长，正对应台上"推理天平"——低温偏准确却死板、高温偏创造却易幻觉，重复惩罚是在这条轴上再补一刀。教材对照：Keskar 2019、HuggingFace 生成文档。
详解 · K13-08 自我一致性与多数投票解码
温度与 Top-P 调的是单次采样的发散度，而数学/推理题要的是收敛——自我一致性（Self-Consistency，Wang et al., 2023）用"多路采样 + 多数投票"把发散转成收敛。做法：对同一问题在 T>0 下采样 M 条不同的思维链路径，各自推出一个最终答案，再对所有路径的答案做多数投票（边缘化推理过程）：a* = argmax_a Σ_{r: ans(r)=a} P(r | question)。直觉是——正确的推理路径虽措辞各异却殊途同归，错误路径则各错各的、难以形成多数。效果可量化：GSM8K 上 PaLM-540B 单纯 CoT 约 56.9%，叠加自我一致性升到约 74.4%（+17.5 个百分点）；SVAMP、AQuA 等算术集合同样大幅提升。代价是算力：M 条链就是 M 倍推理开销，故 M 常取 5~40，是"用算力买一致性"。它属解码期方法，不改权重、不需训练，与 CoT 正交可叠加。台上高斯老祖点破的正是此理：温度管单次发散、投票管多次收敛，多数链指向同一答案时可信度才高。教材对照：Wang 2023、Wei 2022。
高斯老祖
「温度与 Top-P 调的是单次采样的"发散度"。但数学/推理题要的是"收敛"——这时用自我一致性（Self-Consistency）：对同一题采样多条不同推理链，再多数投票取最终答案。多数链指向同一答案，可信度就高。代价是多跑几条链换准度——用算力买一致性。」
幻觉渊 · 第一崩塌
解码阁后是一条向下的阶梯。你走到尽头，发现自己在一片灰蓝色的迷雾中——迷雾里浮现着一行行流畅的文字，每一行都自信满满。你读了第一行，觉得有理；读了第二行，觉得不对——它在用 98% 的自信度，编造不存在的事实。迷雾凝成人形，面容模糊，声音却清晰：
幻觉之影
「你确定你说的是对的吗？我的自信与真相无关——我只是在每一步选了概率最高的词，把它串成了流畅的句子。流畅，就是正确吗？」
高斯老祖
「幻觉不是 bug，是概率生成的必然代价。它没有"不知道"这个选项——每一步都必须输出一个词。当训练数据里没有答案，它就从概率分布里挑最像答案的词串起来。流畅是概率的胜利，不是事实的胜利。」
幻觉复现器 · 自信编造案例
点击三个案例 → 看 LLM 用 98% 自信度编造不存在的事实 → 幻觉之影现身
幻觉复现 · 流光形态
详解 · K13-15 LLM的推理能力与局限：数学/逻辑/常识推理
LLM 的推理分三类：数学（GSM8K 应用题）、符号逻辑（ProofWriter 演绎）、常识（StrategyQA、HellaSwag）。能力与局限一体两面。能力面：规模够大加思维链提示，模型能在多步算术上从近随机跃升到可用；但这份"推理"本质是把难题拆成一串 next-token 预测、中间 token 充当临时草稿，并非符号引擎的严格演绎。局限面更该正视：①幻觉——Huang et al.（2023）综述把根源归为训练数据本身有错、参数化知识过期、解码采样随机三条，模型没有"我不知道"这个输出选项、每步必须吐一个词，于是在知识空洞处自信编造；②"随机鹦鹉"之辩——Bender et al.（2021）指出模型学的是语言形式（form）而非意义（meaning），能拼出流畅句不等于理解指称；③花书（Goodfellow et al.）视角：这是分布外泛化与容量-数据失衡的老问题在新尺度的重演。台上三例恰是三类幻觉标本：张衡地动仪"齿轮联动、里氏 3 级"是时代错位（里氏震级 1935 年才由 Richter 提出）；"量子纠缠咖啡减肥"是伪科学嫁接；《红楼梦》第 108 回黛玉作诗是文本虚构——黛玉实于第 98 回"苦绛珠魂归离恨天"已逝。流畅是概率的胜利，不是事实的胜利。教材对照：花书第5章、Bender 2021、Huang 2023。
ICL 阁 · 无需微调
幻觉渊之后是一座阁楼，墙壁上挂满了例子——"难吃极了→负面""服务热情→正面"。高斯老祖指着这些例子：「不用微调，不用改权重——只要在提示里给几个例子，模型就能学会你想要的格式。这就是上下文学习（ICL）。」
高斯老祖
「Zero-shot 只给指令，One-shot 给一个例子，Few-shot 给几个例子。例子越多，准确率越高——但要注意：它学的不一定是"理解"，可能是"格式"。把→改成：，它就崩了。」
幻觉之影
「你以为它学会了情感分类？它只学会了你的箭头。换个冒号它就不知所措——这叫"理解"吗？」
ICL 实验台 · Zero/One/Few-shot + 格式破坏
切换 Zero/One/Few-shot 看准确率 → 点击"破坏格式"看 ICL 的脆弱性
示例数量切换
测试集 · 准确率
格式脆弱性测试
详解 · K13-05 上下文学习In-Context Learning：无需微调的学习
上下文学习（In-Context Learning, ICL）由 Brown et al.（2020）随 GPT-3 命名：把任务指令与 K 个"输入→输出"示范塞进提示，模型不改一个权重、只靠前向就能照做。它与微调的根本区别是无梯度更新——示范只作为条件上下文，权重全程冻结，更像是"在推理时临时读懂任务格式"。按示范数分 Zero-shot（只给指令）、One-shot（给一例）、Few-shot（给数例），例数越多通常准确率越高。但 Min et al.（2022）"重新审视示范的作用"给出反直觉发现：把示范标签随机打乱、甚至全填错，ICL 仍能保住相当一部分增益——说明模型从示范里学到的主要是标签空间、输入分布与格式模板，而非精确的"输入-标签"映射。这恰解释台上现象：Few-shot 对反讽识别帮助大（示范给了"表面褒义实为贬"的模式），可一旦把分隔符"→"改成"："，准确率骤降——它咬住的是格式，不是理解。ICL 是大模型专属，小模型上示范反而可能干扰。教材对照：Brown 2020、Min 2022。
详解 · K13-06 Few-shot/Prompt Engineering技巧
提示工程是在不改权重的前提下、用输入结构榨取模型能力的手艺。示范选择上，Liu et al.（2022）发现：用稠密向量检索出与测试输入语义最近的 K 个训练样本作示范，比随机选平均高约 7 个百分点——"好例子"胜过多例子。示范顺序也关键，存在近因效应（recency bias）：靠后的示范权重更大；Zhao et al.（2021）还揭示多数标签偏差（majority label bias），并给出上下文校准（把各候选答案的对数似然减去其无输入时的先验）来纠偏。格式一致性是隐形杀手：分隔符、大小写、标签词面一旦漂移，ICL 就可能崩，正对应台上把"→"换成"："后准确率骤降。此外还有指令措辞（明确、正面、给约束）、把复杂任务拆成链式提示、以及"让它一步步想"这类零样本触发词（见 K13-07）。工程经验：提示不是咒语而是接口设计——稳定模板、可复现的示范检索、明确输出格式，是把 ICL 从玩具变生产力的关键。台上 Zero/One/Few 三档切换与"破坏格式"按钮，演示的正是这条脆弱而有效的曲线。教材对照：Liu 2022、Brown 2020、Zhao 2021。
详解 · K13-14 指令微调Instruction Tuning：数据格式与训练策略
ICL 靠提示临时学，指令微调（Instruction Tuning / SFT）则把"听懂人话、照办"炼进权重。范式由两条线确立：Ouyang et al.（2022, InstructGPT）先用约 1.3 万条标注员手写的高质量"指令-回答"对做 SFT，再接 RLHF（见 ch14）；Chung et al.（2022, Flan）把 62 个数据集统一改写成自然语言指令模板（约 183 万例）做指令微调，Flan-PaLM 540B 因此获得强零样本泛化。数据格式主流是 Alpaca 三元组 {instruction, input, output}：instruction 是任务指令、input 是待处理内容、output 是期望答案。训练关键细节——损失只在 output（completion）token 上计算，instruction 与 input 段被掩码不计 loss，否则模型会去学着"生成指令"而非"回答问题"。数据可由 Self-Instruct 半自动扩量：Alpaca（Taori et al., 2023）用 text-davinci-003 生成 5.2 万条指令微调 LLaMA-7B，成本不足百美元。台上"指令微调构造台"的问答/翻译/摘要三模板正演示此格式，并特意标注"仅 output 段计 loss"——这一句是 SFT 与预训练在目标上的分水岭：预训练给知识，SFT 给听话。教材对照：Ouyang 2022、Chung 2022。
高斯老祖
「ICL 是"不改权重、靠 prompt 临时学"。要模型长期听指令，得指令微调（Instruction Tuning / SFT）：用"指令-回答"对儿监督微调权重，把"听懂人话、照办"炼进参数。Alpaca 式数据集就是这种指令对。预训练给知识，指令微调给听话——两步才成对话模型。」
「若问题超出模型记忆，就借外脑——向量检索（RAG）：把知识库切块、用 embedding 编成向量存索引（HNSW / IVF-PQ 等 ANN 索引加速近邻查找），问问题时先检索相关块、塞进 prompt 再让模型答。模型不必记一切，只需会查会读。」
指令微调构造台 · 捏一条 SFT 训练对
选任务模板 → 改指令 → 看 Alpaca 式训练对。只有 output 段计 loss。
推理谷 · 慢思考之力
ICL 阁后是一条向下的谷——谷底放着一道算术题："一个商店有23个苹果，卖了17个，又进了12个，请问现在有多少个？"高斯老祖：「先直接让它答。」你输入问题，模型秒答"31个"——错了。高斯老祖：「现在加一句'一步一步想'。」你照做，模型开始逐步推理："原有23个，卖了17个剩6个，又进了12个是18个。"——对了。
高斯老祖
「思维链（CoT）把复杂推理拆成多个单步预测——每步都是 LLM 擅长的'预测下一个词'。中间结果作为新上下文被模型'看到'，为后续步骤提供 attending 的锚点。这不是魔法，是把难题分解成模型擅长的简单题。」
CoT 推理器 · 直接答 vs 思维链
切换直接回答/思维链 → 看推理步骤逐步展开 → 可视化推理路径
问题
推理过程
推理路径可视化
详解 · K13-07 思维链Chain-of-Thought推理
思维链（Chain-of-Thought, CoT）由 Wei et al.（2022）提出：在少样本示范里不只给"问题→答案"，而是给出"问题→中间推理步骤→答案"，模型便学着先铺陈推理再落结论。关键性质是涌现性——CoT 只在足够大的模型上有效（约 ≥100B 参数），小模型加了 CoT 反而可能降分，因为它还没学会把步骤串对。Kojima et al.（2022）进一步发现零样本 CoT：无需示范，只在问题后追加一句"让我们一步一步思考"（Let's think step by step），MultiArith 准确率就从约 17.7% 飙到约 78.7%；GSM8K 上 PaLM-540B 从标准提示约 17.9% 升到 CoT 约 56.9%。机制解释：CoT 把难题拆成若干"预测下一个 token"的简单子步，每步生成的中间结果被写进上下文、成为后续步骤可 attending 的锚点——相当于用更长的生成序列换取更多"计算步数"，把一次前向答不出的题分摊到多次前向。但它不是唤醒了某个"推理模块"，每步仍是概率采样，故仍会算错、仍需自我一致性（K13-08）兜底。台上"23−17+12"正是标本：直接答错报 31，CoT 分步"23−17=6、6+12=18"得正解 18。教材对照：Wei 2022、Kojima 2022。
RAG 殿 · 外挂知识
推理谷尽头是一座藏书殿——殿中央是一个查询台，身后是无限延伸的知识库。高斯老祖：「幻觉的根源是模型不知道时只能猜。RAG 的思路很简单：先从知识库里检索相关文档，把检索结果拼进提示，再让模型基于检索结果生成——这就叫接地（grounded）。」
高斯老祖
「RAG 四阶段：查询（用户提问）→检索（从知识库召回相关文档）→增强（拼接上下文+检索结果）→生成（基于增强上下文生成）。无 RAG 时模型自信胡编，有 RAG 时基于检索接地生成——流畅终于和正确对齐了。」
RAG 流水线可视化 · 四阶段 + 有无对比
点击"运行 RAG" → 看四阶段流水线动画 → 对比有无 RAG 的回答质量
RAG 流水线 · 查询→检索→增强→生成
有 RAG vs 无 RAG · 回答质量对比
详解 · K13-16 检索增强生成RAG：外挂知识的工程方案
RAG（Retrieval-Augmented Generation，Lewis et al., 2020）把"参数化记忆"（模型权重）与"非参数化记忆"（可检索的外部向量库）缝合：生成前先检索，把召回文档拼进提示，让答案有据可依。原始 RAG 用 DPR 双编码器（Karpukhin et al., 2020）把问题与维基段落各自编成稠密向量、按内积召回 top-k，再交给 BART 生成，并对召回文档边缘化：P(y|x) = Σ_z P(z|x)·P(y|x,z)。它直击两大痛点：知识截止（权重冻结在训练日、之后一无所知）与幻觉（不知道时只能猜）。Gao et al.（2023）综述把工程形态分三代：Naive RAG（索引-检索-生成）、Advanced RAG（加检索前查询改写、检索后重排序）、Modular RAG（模块可插拔、可迭代自检索）。流水线四步对应台上动画：查询→检索→增强（拼接上下文）→生成。成败关键在检索质量——召回错了，生成再流畅也是"接地的错"，故 chunk 粒度、embedding 模型、重排序是工程重心。台上对比极具说服力：无 RAG 时模型对"2024 年诺贝尔物理学奖"自信胡编"量子纠缠三人组"，有 RAG 时基于检索到的官方资料答出 John Hopfield 与 Geoffrey Hinton（表彰其使人工神经网络机器学习成为可能的基础发现与发明）。教材对照：Lewis 2020、Gao 2023。
详解 · K13-19 向量检索与ANN索引概览：Embedding相似度/HNSW/IVF-PQ
RAG 的检索底座是向量近邻搜索。先用 embedding 模型把文本编成 d 维向量，相似度常用余弦 cos = (a·b)/(|a||b|)、内积或欧氏 L2。精确 kNN 要对库里每条向量算一次距离、复杂度 O(N·d)，十亿级库每查一次都全表扫描，不可行；于是用近似最近邻（ANN）以少量召回率换数量级的速度。两大主流索引：①HNSW（Malkov & Yashunin, 2018）——分层可导航小世界图，顶层稀疏做长跳、逐层下降到稠密底层精搜，贪心游走逼近最近邻，查询复杂度近对数、召回高，代价是内存占用大；②IVF-PQ（Faiss，Johnson, Douze & Jégou, 2019）——IVF（倒排文件）先用 k-means 把空间粗量化成若干 Voronoi 胞、查询只扫最近的 nprobe 个胞；PQ（乘积量化，Jégou et al., 2011）把向量切成 m 段子向量、各用一个小编码本量化，压成 m 字节编码，配合非对称距离计算（ADC）在压缩域估距，省内存、适合十亿级。评测用 recall@k（近似结果里真前 k 的比例）与 QPS。选型：内存充裕、要低延迟高召回选 HNSW；库极大、内存紧选 IVF-PQ。台上高斯老祖提的"HNSW / IVF-PQ 等 ANN 索引加速近邻查找"正是 RAG 检索这一步的引擎，与 CS 手册向量索引构成"原理→应用"闭环。教材对照：Malkov 2018、Johnson 2019。
遗忘之壁 · 第二崩塌
RAG 殿后是一面无限延伸的墙壁——墙上刻满了文字，从左到右绵延不绝。你把一篇长文档塞进上下文，问模型中间的内容。模型答不上来——它记得开头，记得结尾，唯独忘了中间。幻觉之影的声音从墙壁深处传来：
幻觉之影
「你塞进去的，不等于它记得的。中间的内容，我替它忘了。你以为上下文越长越好？上下文越长，中间遗忘得越厉害——这就是 Lost in the Middle。」
高斯老祖
「注意力机制对长程依赖有衰减——开头和结尾的 token 被 attending 的次数多，中间的被淹没。这不是'记不住'，是'注意不到'。上下文越长，中间召回率越低。这就是长上下文之壁。」
长上下文诊断器 · Lost in the Middle
拖上下文长度滑块 → 看 U 型召回曲线 → 中间内容被遗忘
上下文位置 vs 召回率
2k详解 · K13-09 长上下文处理：位置编码外推/稀疏注意力/RoPE缩放
把上下文拉长撞三堵墙。第一堵是成本：自注意力对序列长度是 O(n²) 的时间与显存，n 翻倍、注意力矩阵翻四倍。第二堵是位置编码外推：绝对位置嵌入（如 BERT 可学习的 512 上限）超出训练长度就失效。RoPE（旋转位置编码，Su et al., 2021）把位置编成向量的旋转角、注意力只依赖相对旋转，外推性更好，成为 Llama/Qwen 等主流。要在推理期再拉长窗口有两条路：位置插值 PI（Chen et al., 2023）不外推而把新位置线性压缩回训练区间（乘 L_train/L_target），只需轻量微调就把 Llama 从 2k 扩到 32k；NTK-aware 与 YaRN（Peng et al., 2023）按波长非均匀缩放、用更少数据扩得更远。第三堵是"用不用得上"：即便窗口够长，Liu et al.（2023）"Lost in the Middle"发现召回率随信息在上下文中的位置呈 U 型——开头与结尾记得清、正中最容易被忽略，长文档塞进去不等于被读到。稀疏注意力是另一条降本路：Longformer（Beltagy et al., 2020）用滑动窗口局部注意力加少量全局 token，BigBird（Zaheer et al., 2020）把复杂度降到 O(n)。台上 U 型召回曲线与"开头/结尾易记、中间遗忘"三指标正是 Lost in the Middle 的可视化；拖长上下文滑块，中间召回按 0.6−0.06·len 从约 48% 一路跌到触底 5%。教材对照：Chen 2023、Peng 2023、Liu 2023。
LoRA 阁 · 低秩注入
遗忘之壁后是一间锻造室——墙上挂着一个巨大的权重矩阵 W，冰封着。高斯老祖递给你两块小矩阵 A 和 B：「全量微调要解冻整个 W，参数太多、太贵。LoRA 的思路是：冻结 W，只训练两个小矩阵 A 和 B，用它们的乘积 B·A 近似权重更新 ΔW。」
高斯老祖
「"本征维度"假说：预训练大模型已位于低维流形，任务适配所需的权重更新 ΔW 是低秩的。ΔW ≈ B·A，A 是 r×d，B 是 d×r，可训练参数从 d² 降到 2dr。r=8 已能捕获大部分任务信号——这是参数高效的数学根因。」
LoRA 可视化器 · 全量vs低秩 + rank 参数
看全量微调 vs LoRA 参数对比 → 拖 rank r 滑块看低秩矩阵注入 → 参数量变化
全量微调 vs LoRA · 参数对比
LoRA · 低秩矩阵注入可视化
rank r 参数 · 表达力 vs 参数量
详解 · K13-12 低秩适应：LoRA/QLoRA
LoRA（Low-Rank Adaptation，Hu et al., 2022）的洞察是"本征维度"假说：预训练大模型已落在低维流形上，任务适配所需的权重更新 ΔW 内在秩很低。于是冻结原权重 W ∈ R^{d×d}，只训练两个瘦长矩阵 B ∈ R^{d×r}、A ∈ R^{r×d}（r ≪ d），用 ΔW = B·A 近似更新，前向变为 h = Wx + (α/r)·BAx，α/r 是缩放系数。初始化是关键细节：A 用高斯随机、B 全置零，故训练起点 ΔW = 0，完全不扰动预训练行为。可训练参数从 d² 降到 2dr，比值 2r/d。手算台上默认档（d=1600、r=8）：全量 d² = 2,560,000，LoRA 2dr = 2×1600×8 = 25,600，占比 25,600/2,560,000 = 1.0%——正对应"1% 参数逼近全量"。原论文在 GPT-3 175B 上把可训练参数减少约 1 万倍、显存需求降约 3 倍，r=4~8 常已够用。QLoRA（Dettmers et al., 2023）再进一步：把冻结基座量化到 4-bit NormalFloat（NF4，对近正态的权重信息最优）、加双重量化与分页优化器，使单张 48GB GPU 就能微调 65B 模型，其 Guanaco 在 Vicuna 基准达到 ChatGPT 约 99.3% 的水平。台上 rank 滑块拖动的正是 2r/d 这条线：r 越大表达力越强、参数越多，r=8 是省与够的甜点。教材对照：Hu 2022、Dettmers 2023。
详解 · K13-13 参数高效微调PEFT：Adapter/Prompt Tuning/Prefix Tuning
PEFT（Parameter-Efficient Fine-Tuning）是一族"只训一小撮参数、冻住大基座"的方法，LoRA 是其中权重空间的一支，另有三支经典：①Adapter（Houlsby et al., 2019）——在每个 Transformer 块的注意力与 FFN 之后插入瓶颈模块（先降维 d→r、过非线性、再升维 r→d），BERT 上约 3.6% 参数即逼近全量微调，缺点是串行插入增加推理延迟；②Prefix Tuning（Li & Liang, 2021）——在每一层的 Key/Value 前拼接可学习的连续前缀向量，训练时用 MLP 重参数化、部署时只留前缀，约 0.1% 参数，擅长生成；③Prompt Tuning（Lester et al., 2021）——只在输入层前置 k 个可学习"软提示"token 嵌入、其余全冻，模型越大越能追平全量微调，参数可低至约 0.01%。四者的分水岭在"参数住在哪"：Adapter 住新模块、Prefix 住每层 KV、Prompt 住输入层、LoRA 住原权重的低秩增量。选择看任务与预算：生成类偏好 Prefix/LoRA，极致省参用 Prompt Tuning，要无额外推理延迟用 LoRA（可把 B·A 合并回 W）。台上 S4 的 SFT 给"听话"、S8 的 LoRA 给"省"，合起来就是 PEFT 的两副面孔——先有指令数据，再用高效方法把它注入冻结基座。教材对照：Houlsby 2019、Li 2021、Lester 2021。
Boss 战 · 幻觉之影
遗忘之壁碎裂，你跌入一片灰蓝色的虚空。虚空中央，幻觉之影完整现身——它不是人形，是一团流光，每一道光都自信地流淌成流畅的句子，每一句都不是事实。它翻开一本账册：「你来了。带着你的两道刻痕，和你的幻账。三问。答对，我消散。答错，你的结丹修为归零。」
幻觉之影
「你说你理解了温度、思维链、LoRA——证明给我看。你的两道刻痕不是耻辱，是你的排除法——每一条'此路不通'，都在告诉你正确的路在哪里。三问，每问三选一，答错被排除法划去，正解作为剩余项现身。」
幻账累计 0 笔 · 三问全对后清零
顿悟之巅 · 语言通神
虚空之上，你站在山顶。山脚是你走过的路——语言之门、预言之池、解码阁、幻觉渊、ICL 阁、推理谷、RAG 殿、遗忘之壁、LoRA 阁。山顶放着一台巨大的训练集群，几百张 GPU 连在一起，训练着一个越来越大的模型。高斯老祖：「你想让模型通神。面前是最后的拼图——把12块知识碎片点亮，LLM 的知识图谱就会浮现。」
高斯老祖
「语言通神的秘密不在"理解"，在"概率预测"——自回归生成逐 token 成章，温度采样控制确定性，上下文学习无需微调，思维链分解复杂推理，检索增强接地事实，LoRA 低秩注入高效微调。幻觉不是 bug 是必然代价——被校验过的地方没有它的容身之处。结丹三层，语言通神——你已圆满。但结丹四层的路，在对齐归正。」
语言通神 · 知识图谱 + 境界突破
点击 12 块知识碎片点亮 LLM 知识图谱 → 触发结丹三层·语言通神圆满
语言通神 · 总结刻文
LLM 知识图谱 · 语言通神
详解 · K13-18 LLM的Agent能力：工具使用/规划/反思
当 LLM 从"会说"走向"会做"就成了 Agent，三根支柱是工具使用、规划、反思。工具使用：Toolformer（Schick et al., 2023）让模型自监督地学会在何处调用哪个 API——先自标注一批"若在此插入 API 调用能降低后续困惑度"的位置，再用这些数据微调，从而掌握计算器、搜索、翻译、日历等工具，且不牺牲核心语言能力，弥补了 LLM 不会精确算术、不知实时信息的先天短板。规划：把大目标分解成子任务序列，Voyager（Wang et al., 2023）是范本——一个 GPT-4 驱动的 Minecraft 智能体，用自动课程提出下一个该学的目标、把学到的技能写成可执行代码存进不断增长的"技能库"、再用环境反馈迭代提示，实现终身学习，独特物品获取数约为此前方法的 3.3 倍。反思：ReAct（Yao et al., 2023）把推理（Reason）与行动（Act）交织，边想边调工具边看结果；Reflexion（Shinn et al., 2023）让智能体用自然语言总结失败教训、存进情节记忆，下次带着教训再试。Agent 闭环即"感知→规划→行动(工具)→观察→反思"。台上 S10 能力全景里的"对齐训练"节点与本章终点的"通神"都指向下一章：会做的模型，还得做得对、做得善。教材对照：Schick 2023、Wang 2023、Yao 2023。
复盘 · 语言通神主线
主线一句话：LLM 的灵魂不是"理解"，是规模化的"预测下一个 token"。回放十一幕：语言之门四选一下注，揭底推理是涌现、记忆可被检索替代、翻译是统计延续、编程是结构化语言延伸；预言之池立自回归骨架 P(x)=Π P(xₜ|x<ₜ)、逐 token 落子、温度调尖锐度；解码阁三碑——贪心稳定却复读、Top-K 定长截断、Top-P 动态核采样，再用自我一致性以多数投票把发散转收敛；幻觉渊第一崩塌，流畅≠正确，幻觉是"每步必须吐词、无处说不知道"的必然代价；ICL 阁不改权重靠示范临时学，却咬格式不咬理解，指令微调才把"听话"炼进权重；推理谷 CoT 把难题拆成一串单步预测，"23−17=6、6+12=18"胜过一口报 31；RAG 殿检索接地、让流畅终于对齐正确，底座是 HNSW/IVF-PQ 的向量近邻；遗忘之壁第二崩塌，长上下文 O(n²) 加 Lost in the Middle 的 U 型召回，塞进去不等于记得住；LoRA 阁低秩注入 ΔW=B·A，2r/d 在 d=1600、r=8 时恰是 1%，QLoRA 4-bit 再省；Boss 三问清算幻账——温度缩放 logits、CoT 拆解、LoRA 低秩，答对即影散；顿悟之巅点亮 12 碎片，结丹三层圆满。四道排除刻痕（自回归失神、ICL 脆弱、幻觉本质、长上下文遗忘）不是失败，是排除法替你圈出的可行域。通神已至，但会说不等于说得对——下一章 ch14 对齐归正，用 RLHF/DPO 教模型向善。