预训练成丹
你以为炼丹就是堆参数堆算力。可在炼丹之门，真正的炉火是数据——海量语料里藏着世界的影子。过拟合之雾潜伏在小数据集的角落，专收"训练loss下降但验证loss反弹"的缝隙。BERT 用掩码偷看左右，GPT 用因果只看左侧，Chinchilla 告诉你数据与参数的最优比是 20:1。
炼丹之门
炼丹之门的门楣上刻着八个字：万物可炼，万物可崩。门内是一座巨大的炼丹炉，炉膛里燃烧的不是木柴，是流动的语料——网页、书籍、代码、对话，亿万 token 在炉中翻滚。高斯老祖站在炉前，手里只有一块黑板，上面写着：预训练 = 用海量无标注数据，炼出世界知识的金丹。炉火深处传来一万张 GPU 过载的嗡鸣。
高斯老祖
「你想炼一颗通用的金丹。先搞清楚——预训练里最重要的因素到底是什么。四个选项，你下注。」
过拟合之雾
「又来了一个想炼丹的。打个赌——你觉得预训练最重要的是模型架构、数据质量、计算量、还是随机种子？我赌你猜错。你的每一次过拟合，我都会记下来。」
预训练之赌 · 因素预测挑战器
反直觉下注（四选一，可连错）→ 因素展开 → 预训练-微调范式全景图拼合
预训练-微调范式全景 · 炼丹流水线
详解 · K12-01 预训练-微调范式的核心思想
预训练-微调的本质是两阶段迁移学习：第一阶段用自监督目标（预测下一个词、或被掩码的词）在海量无标注语料上学通用表征——语料本身即标签，标注成本为零；第二阶段把通用表征迁移到具体任务。GPT-1（Radford et al., 2018，1.17 亿参数，BooksCorpus）首次验证：预训练后在 12 个 NLP 任务上微调，9 个刷新纪录；BERT（Devlin et al., 2019）把这一范式推上主流。谱系可上溯：word2vec（Mikolov et al., 2013）用"预测邻居词"学静态词向量，GloVe（Pennington et al., 2014）改统计共现矩阵，ELMo（Peters et al., 2018）用双向 LSTM 造上下文相关向量——BERT/GPT 是把这套自监督思想放大到深层 Transformer。与"每任务从零训练"相比，一次预训练的百万美元成本可摊到千任务上，微调只需千分之一的算力。台上范式全景图里"微调"节点不点亮并非偶然：金丹（通用表征）才是资产，微调只是取出方式。教材对照：花书 Ch12、d2l Ch14。
范式殿 · 从专用到通用
范式殿的两侧各立着一面巨镜。左镜里映着传统炼丹：每个任务一座小炉，从零点火，只烧这一味药——炼完即弃，下次重来。右镜里映着预训练炼丹：一座大炉先烧尽天下语料，炼出一颗通用金丹，再把金丹分给千千万万个小炉，每座小炉只需微调几缕火候。高斯老祖指着右镜：「这就是范式革命——把'学任务'变成'学世界'。」
高斯老祖
「传统范式每个任务从零训练，数据利用率低、迁移能力为零。预训练范式先在海量无标注语料上学通用表征，再在小标注数据上微调——一次预训练，服务千任务。这就是'世界知识'的炼法：把语料的统计规律蒸馏成参数。」
范式对比器 · 传统 vs 预训练+微调
切换范式看数据流 → 对比训练曲线 → 三维度指标权衡
传统单任务训练
预训练 + 微调
训练曲线对比 · 从零 vs 预训练初始化
详解 · K12-13 下游任务微调范式：分类/NLI/NER/QA
微调的工程配方：在预训练模型顶部加一个随机初始化的任务头（分类任务通常是 d×k 线性层），用小学习率（2e-5 到 5e-5，比预训练小两到三个数量级）在标注数据上端到端训练。四类经典任务各接不同头：文本分类（情感分析，取 [CLS] 末层向量过分类头）；自然语言推理 NLI（前提/假设拼接成句对，判断蕴含/矛盾/中立，如 SNLI/MNLI）；命名实体识别 NER（每个 token 各自过分类头输出 BIO 标签，如 CoNLL-2003）；抽取式问答 QA（预测答案片段的起止位置，如 SQuAD）。效果可量化：BERT-Large 微调后 GLUE 平均 80.5、SQuAD v1.1 F1 93.2（人类 91.6）。台上右侧流水线"预训练→世界知识金丹→微调→千任务通用"正对应此：同一颗金丹，换头即换任务。教材对照：Devlin 2019、Wang et al. 2019（GLUE）。
详解 · K12-14 特征提取vs微调：预训练模型的两种使用方式
不改预训练权重、只把各层激活当特征喂给任务模型，叫 feature-based（特征提取）；端到端继续训练全部权重，叫 fine-tuning（微调）。ELMo（Peters et al., 2018）是特征派代表——拼接双向 LSTM 的隐层输出；GPT/BERT 之后微调派成为主流。BERT 论文的消融显示：同等规模下微调几乎在所有任务上优于特征提取，且标注数据越少差距越明显；但特征提取一次前向可缓存复用于多任务、无灾难性遗忘，多任务共用一份权重时更省算力。折中路线：ULMFiT（Howard & Ruder, 2018）逐层解冻先调顶层；LoRA 类参数高效微调只训低秩增量，可训练参数不到全量 1%。选型法则：数据多、任务难、独占模型——全量微调；数据少、任务多、共享模型——特征提取或冻结底层只调顶层。范式殿对比器的三行指标——数据利用率、迁移能力、单任务成本——同样是在这两种用法之间做选择的标尺。
掩码阁 · BERT 双向注意力
掩码阁的墙上挂着一句话，其中一个字被金光遮住：「炼丹之法，[MASK]在其中。」高斯老祖递给你一支掩码笔：「把任意一个字遮住，看 BERT 能不能从左右两边同时推断出它是什么。」你遮住"炉"字——BERT 同时看到左边的"炼丹之法"和右边的"在其中"，给出的预测是"炉"。
高斯老祖
「BERT 是 Bidirectional Encoder Representations from Transformers。它的杀手锏是 MLM——随机掩码 15% 的 token，让模型从左右上下文同时预测被掩码的词。双向注意力让每个 token 都能'偷看'整句话，这是它理解能力的根源。」
MLM 实验台 · 掩码语言模型
点击任意词掩码 → BERT 双向注意力可视化 → 候选词概率分布
输入句子 · 点击任意词进行掩码
双向注意力热力图 · [MASK] 同时看左右
详解 · K12-02 BERT：掩码语言模型MLM + 下一句预测NSP
MLM 目标：随机选 15% 的 token 做预测候选，其中 80% 换成 [MASK]、10% 换成随机词、10% 保持原词——这个 8:1:1 混合是关键工程细节：若全部换 [MASK]，预训练与微调（输入里没有 [MASK]）分布不一致；随机替换强迫模型逐位置检查而不只盯 [MASK]。损失只在这 15% 的位置上计算，每步监督信号稀疏，所以 BERT 需要更多训练步数。NSP（下一句预测）：50% 拼真实相邻句、50% 拼随机句，二分类判断句序，为句对任务（NLI/QA）提供训练信号。RoBERTa（Liu et al., 2019）消融发现：去掉 NSP 反而更好，且应动态掩码、更大 batch、更多数据——NSP 如今被视为历史弯路。台上掩码"炉"字看候选概率分布：四个候选合计约 0.98，剩余概率摊给词表里其余三万多个词。教材对照：Devlin 2019、d2l Ch14。
详解 · K12-03 BERT的架构：Transformer编码器堆叠
BERT-Base = 12 层 Transformer 编码器，d=768，12 头，约 1.1 亿参数；BERT-Large = 24 层、d=1024、16 头、3.4 亿参数。参数量可手算：每层自注意力 4 个 d×d 矩阵（W_Q/W_K/W_V/W_O）共 4d²，FFN 两层 d×4d 共 8d²，合计约 12d²/层。验算 BERT-Base：12 层×12×768² ≈ 8500 万非嵌入参数，加词嵌入 30522×768 ≈ 2340 万与层归一化，恰好约 1.1 亿。GPT-2 Small 同样是 12×12×768² ≈ 8500 万非嵌入参数，加 50257×768 ≈ 3860 万嵌入，约 1.24 亿——两者架构同构，差别全在训练目标（掩码 vs 因果）。多头只把 d 切成子空间（12 头×64 维=768），不增参数量。台上掩码"炉"后左右上下文同时被聚合——正是编码器双向注意力在干活：每层每个位置都直视全句。教材对照：Devlin 2019、d2l Ch14。
详解 · K12-04 BERT的输入表示：Token/Segment/Position Embedding
BERT 输入是三路向量相加：Token Embedding（WordPiece 词表 30522，含 [CLS]/[SEP]/[MASK]/[UNK] 等特殊符号）；Segment Embedding（句 A/句 B 二值标记，服务句对任务）；Position Embedding（可学习、最长 512——超过 512 token 的文档必须截断或滑窗，这是 BERT 的硬天花板）。序列首恒为 [CLS]，其末层隐状态聚合全句语义，直接接分类头；句对之间用 [SEP] 分隔。注意是相加而非拼接——三路信息共享同一个 768 维表征预算，位置与词义互相叠加，这也解释了为何后续工作纷纷改造位置编码：RoBERTa 沿用但改训练策略，T5 换相对位置偏置。台上句子"炼丹之法炉在其中"共 8 个 token，掩码任何一个，[MASK] 都同时看到左右——三路嵌入相加后进入 12 层双向编码器。教材对照：Devlin 2019、d2l Ch14。
过拟合渊 · 第一崩塌
掩码阁后是一片灰雾弥漫的深渊。你把一座小炉点着，喂进一小批语料，开始预训练。训练 loss 稳定下降——0.8、0.5、0.3、0.1。你正要欢呼，高斯老祖却指着验证集的曲线：「看这条。」验证 loss 在 0.4 处触底，然后开始反弹——0.5、0.7、1.2。灰雾从渊底升起，凝成过拟合之雾的轮廓。
高斯老祖
「训练 loss 下降而验证 loss 上升，就是过拟合。你的模型在小数据上把训练集的每个样本都背下来了——它不是在学世界的规律，是在背题。数据不够，参数再大也只是更强的记忆力，不是更强的理解力。」
过拟合之雾
「你的模型把训练集背得滚瓜烂熟，可一遇到新题就露馅。第一笔雾账，我记下了——你的金丹是空的，里面装的是记忆，不是知识。」
过拟合渊 · 小数据预训练复现 + 根因诊断
拖数据量滑块看 loss 分叉 → 展开根因 → 雾账记录
小数据预训练复现 · 数据量滑块
15M tokens根因诊断 · 目标函数展开
详解 · K12-08 预训练数据：数据清洗/去重/质量控制
原始网页语料里模板、垃圾、重复占两成以上，直接喂进炉膛只会炼出雾。GPT-3（Brown et al., 2020）的配比可作参照：过滤后 CommonCrawl 410B、WebText2 19B、Books1/2 共 67B、维基百科 3B，按权重采样约 300B tokens。清洗四步：启发式过滤（语言检测、长度、特殊符号比例）→ 去重（行级/文档级精确匹配与 MinHash 近重）→ 质量分类器（用高质量页训练打分器给候选页排序）→ 毒性与隐私脱敏。为什么去重如此重要：重复样本会被模型逐字背下，既是过拟合的放大器，也是隐私泄露的出口——去重不净时"看似理解、实为复述"，恰是过拟合之雾的本体。质量决定上限的证据：phi 系列用教科书级数据，小模型逼近数十倍数据量的普通配比。台上把数据量滑块拖到 15M tokens、验证 loss 反弹——"数据信息量小于模型容量"的直接演示，清洗与扩量是同一问题的两面。教材对照：Brown 2020、Touvron 2023。
自回归阵 · GPT 因果生成
过拟合渊后是一片棋盘，棋盘上的字从左到右依次落下。高斯老祖递给你一枚起手令：「给 GPT 一个开头，它一个字一个字往下续。」你写下"炼丹之法"，GPT 接着吐出"在于"、"积累"、"火候"——每个字都只看它左边的字，绝不偷看右边。这就是因果掩码。
高斯老祖
「GPT 是 Generative Pre-trained Transformer。它的杀手锏是自回归——从左到右逐 token 预测下一个。因果掩码让每个位置只能看到左侧，这是它能生成的根本：生成时未来尚未存在，自然不能偷看。代价是它理解单句不如 BERT，但能生成是它的王权。」
自回归生成器 · GPT 逐 token 生成 + 注意力对比
输入提示词 → GPT 逐 token 生成动画 → 因果掩码 vs BERT 双向对比
提示词 · GPT 从此续写
生成输出 · 逐 token 落子
注意力对比 · BERT 双向 vs GPT 因果
详解 · K12-05 GPT系列：自回归语言模型的演进
GPT 一脉只有一个目标：最大化 P(x_t | x_<t)，即给定左侧历史预测下一个 token。三代演进各立一块碑：GPT-1（Radford et al., 2018，12 层 d=768，1.17 亿参数，BooksCorpus）证明"预训练+微调"可行；GPT-2（Radford et al., 2019，15 亿参数，WebText 约 40GB）发现零样本多任务能力——干脆不微调，直接以指令式续写完成任务；GPT-3（Brown et al., 2020，1750 亿参数，约 300B tokens）把这条路推到极致：上下文学习（in-context learning）取代微调，参数量较 GPT-2 放大 115 倍。1750 亿可验算：每层约 12d²，96 层×12×12288² ≈ 1740 亿非嵌入参数，加词嵌入 50257×12288 ≈ 6 亿，恰为 175B 量级。台上生成器逐 token 落子："在于/积累/火候"都是 P(x_t|x_<t) 的采样，每步只条件于左侧。教材对照：Radford 2018/2019、Brown 2020。
详解 · K12-06 因果语言建模vs掩码语言建模的对比
数学上这是两种因子分解：自回归把联合概率链式分解为 P(x)=Π P(x_t|x_<t)，因果掩码保证每个条件分布只看左侧；MLM 则做"完形填空"，对被掩位置建模 P(x_masked|x_rest)，双向可见。三条代价轴：①训练信号密度——GPT 每个 token 位置都产生损失，BERT 只在 15% 被选位置产生损失，同等 token 数下 GPT 的监督信号约是 BERT 的 6.7 倍（1/0.15≈6.67）；②分布匹配——GPT 训练目标即生成方式，BERT 的预训练输入（含 [MASK]）与下游输入不一致；③能力边界——BERT 无法直接生成文本，GPT 单向编码在单句理解任务上略弱。台上两张 6×6 热力图是全部区别的浓缩：左图全亮（BERT 全可见），右图只有下三角亮（GPT 只看左侧）——"能看哪里"决定"能做什么"。教材对照：花书 Ch12、Devlin 2019。
分词殿 · 词元切割术
分词殿中央悬着一把刻刀，殿内三座石碑各刻一种切法。高斯老祖把一句话"pretraining is alchemy"投到刻刀下，刻刀落下——BPE 切成"pre/train/ing/is/alche/my"，WordPiece 切成"pre/##train/##ing/is/alche/##my"，Unigram 切成"pretrain/ing/is/alchemy"。同一句话，三种切法，token 数不同，词表不同。
高斯老祖
「分词器是模型与文本的接口。BPE 从字符出发贪心合并高频对，WordPiece 类似但用似然选择，Unigram 用概率模型反向选词表。词表太小则序列太长、训练慢；词表太大则稀疏、多语言不友好。词表大小是预训练的第一个工程权衡。」
分词器实验台 · BPE / WordPiece / Unigram 对比
输入文本 → 三种分词并列对比 → 拖词表大小看切分变化
输入文本 · 实时分词
三种分词法对比
词表大小滑块 · 影响 token 数与覆盖率
30000详解 · K12-07 Tokenizer技术：BPE/WordPiece/Unigram/SentencePiece
BPE（Sennrich et al., 2016，思想源自 1994 年的压缩算法）：从字符词表出发，每轮统计相邻对频率、合并最高频对，循环到词表预算用尽——GPT 系词表 50257 即此法。WordPiece（Schuster & Nakajima, 2012，BERT 采用）：合并准则从"频率最高"改为"使语料似然提升最大"，词内续接加 ## 前缀，词表 30522。Unigram（Kudo, 2018，T5 采用）：先造百万级候选词表，假设每个子词带独立概率 p(句)=Π p(子词)，用 EM 估计后逐步裁掉对总似然伤害最小的子词，天然能保留多种切分并按概率采样。SentencePiece（Kudo & Richardson, 2018）是把前几种算法工程化的工具库：语言无关、把空格当普通字符（▁），中日文等无空格语言因此受益。工程账：词向量矩阵直接吃显存——50257×768×4 字节约 150MB，且词表每小一档，同文本序列变长一截，注意力 O(n²) 成本随之上升。台上滑块拖的正是这条权衡曲线，右侧 BPE 行的 token 计数 6 对应"pre/train/ing/is/alche/my"。教材对照：Sennrich 2016、d2l Ch14。
规模殿 · Scaling Laws 规模法则
规模殿的穹顶上刻着三条曲线——模型规模、数据量、计算量，每一条都随着 x 轴增长而下降，下降的形状是幂律。高斯老祖指着三条曲线的交点：「这就是 Chinchilla 最优点——在固定算力下，数据量与参数量的最优比约 20:1。违背这个比例，要么数据不够过拟合，要么参数不够欠拟合。」
高斯老祖
「Scaling Laws 说 loss 随规模幂律下降——这是炼丹的物理定律。Chinchilla 进一步告诉你：多数大模型'参数过剩、数据不足'。一个 70B 的模型，最优训练数据量约 1.4T tokens。在此之前，业界普遍只用了 1/20 的数据，却堆了 20 倍的参数——浪费。」
Scaling Laws 曲线追踪器 · 幂律 + Chinchilla 最优比
Canvas 三条幂律曲线 → 滑块调参数/数据 → Chinchilla 最优比判定
Scaling Laws · 模型/数据/计算 vs Loss
参数量
70B数据量
0.8T tokensChinchilla 最优比判定
详解 · K12-10 Scaling Laws：模型规模/数据量/计算量的幂律关系
Kaplan et al. 2020（OpenAI）用数百次小规模训练拟合出三条幂律：L(N)=(N_c/N)^α_N，α_N≈0.076；L(D)=(D_c/D)^α_D，α_D≈0.095；L(C)=(C_c/C)^α_C，α_C≈0.050——loss 随参数量 N、数据量 D、计算量 C 的幂次平滑下降，跨越七个数量级仍成立。三条工程推论：①参数与数据都充足时损失不会过拟合反弹，幂律压得住；②大模型样本效率更高——小模型要达到同一损失需要多得多的 token；③给定算力，Kaplan 的结论是训"大模型且提前停"优于把小模型训到收敛（此点后被 Chinchilla 修正）。注意这是"经验物理"：指数由拟合而来，换分词器、换数据分布、换架构都会平移曲线。台上三条曲线在 log 轴下是缓降直线，斜率就是 α；参数量滑块 70B、数据量 0.8T 时当前点偏离最优点，天平立刻报"数据不足"。教材对照：Kaplan 2020、Hoffmann 2022。
详解 · K12-11 Chinchilla最优训练：数据量与模型参数的平衡
Hoffmann et al. 2022（DeepMind，Chinchilla）修正了 Kaplan 的算力最优结论：用 400 余次训练拟合三种模型族，得到 N_opt ∝ C^0.5、D_opt ∝ C^0.5——参数与数据应随算力等比增长，最优配比约 20 tokens/参数。判决性对照：Gopher 用 280B 参数只训 300B tokens（配比约 1.1:1），Chinchilla 用 70B 参数 + 1.4T tokens（20:1），算力同量级（C≈6ND：6×280e9×300e9≈5.0e23 对 6×70e9×1.4e12≈5.9e23），Chinchilla 全面反超——MMLU 67.6% 对 Gopher 60.0%。这一结论揭了行业短处：GPT-3（175B/300B，1.7:1）严重欠训练，GPT-4 技术报告也自认训练不足。反向注脚：Llama-2 7B 用 2T tokens（286:1）故意超额喂数据——牺牲训练效率换小模型推理成本，是另一套账。台上把参数拖到 50B、数据拖到 1.00T，天平显示 20:1 即 Chinchilla 最优。教材对照：Hoffmann 2022。
涌现崖 · 第二崩塌
规模殿后是一道悬崖。悬崖这边，小模型的曲线平坦如死水——无论怎么训练，某些任务准确率都在 0% 附近。悬崖那边，大模型的曲线在某一个规模点突然跃升——0% 直接跳到 65%。这不是平滑上升，是相变。高斯老祖的声音从崖底传来：「这就是涌现——能力不是渐变的，是突变的。」
过拟合之雾
「你以为规模法则能预测一切。可涌现能力偏偏不服从幂律——小模型完全做不到，大模型突然就会了。你猜不到阈值在哪里。第二笔雾账，我记下了——你的预测在涌现面前失效。」
高斯老祖
「涌现是规模法则的'断点'。某些能力（多步推理、指令遵循、代码生成）在小模型上几乎为零，越过某个参数/数据阈值后突然出现。我们至今无法精确预测阈值——这是预训练最大的谜，也是最大的赌注。」
涌现之谜 · 能力相变复现 + 阈值不可测
拖规模滑块看能力跃变 → 切换任务看不同阈值 → 诊断不可预测性
涌现能力复现 · 模型规模滑块
20B详解 · K12-12 涌现能力Emergent Abilities：规模带来的质变
Wei et al. 2022 的定义：某能力在小模型上接近随机水平、越过规模阈值后骤升，即为涌现。三个跨四个数量级规模的实证：两位数乘法——PaLM 8B 近随机、540B 接近 80%；波斯语问答——GPT-3 175B 之前几乎为零；多步推理（链式思维提示）——小规模模型上链式思维反而降分，大模型上骤升数十个百分点。机制尚无定论，候选假说：任务需串接多个子能力、每个都必须先学会（短板效应）；回路容量存在硬阈值。必须听反方：Schaeffer et al. 2023 指出许多"涌现"是非线性度量（精确匹配、多选对错）制造的假象——换成对数似然等连续度量，同一批模型的能力曲线其实平滑。所以当下最稳妥的表述是：涌现是真实存在的现象、机理待定、对度量方式高度敏感。台上三条 sigmoid 相变曲线的阈值 40B/50B/70B 各不相同，且没有一条幂律能预告跃升点。教材对照：Wei 2022。
详解 · K12-15 模型评估：GLUE/SuperGLUE/MMLU/HellaSwag
"涌现相变"成立与否，取决于尺子。GLUE（Wang et al., 2019，9 个任务：情感、NLI、语法、相似度）是 BERT 时代的通用基准：人类基线 87.1，RoBERTa 微调 88.5 已越线。SuperGLUE（Wang et al., 2019，8 个更难任务：多步推理、共指、问答）抬高天花板——GPT-3 少样本 71.8 仍落后人类（89.8）约 18 分。MMLU（Hendrycks et al., 2021，57 学科多项选择）专测知识广度：GPT-3 175B 43.9% → Chinchilla 67.6% → GPT-4 86.4%，一串分数就是规模定律的脚印。HellaSwag（Zellers et al., 2019，常识句子续选）曾是"人类 95.6% 对 BERT-large 47.3%"的天堑，如今被刷到 95% 以上。两条方法论教训：数据污染——基准题混进训练语料，分数虚高，评测前必须去污染；度量敏感——阈值型度量会把平滑进步放大成"骤变"，这正是 Schaeffer 2023 对涌现的质疑。台上"准确率从 0% 跃升至 65%"用的正是这类不连续度量。教材对照：Wang 2019、Hendrycks 2021。
炼丹炉 · 预训练基础设施
悬崖之后是一座真正的炼丹炉——但这座炉子由上千张 GPU 串联而成，炉壁上刻着三行字：显存、通信、稳定性。高斯老祖递给你一块算盘：「选个参数量——7B、13B、还是 70B？我帮你算算要多少张卡、烧多久、花多少钱。」
高斯老祖
「炼大模型不是算法问题，是工程问题。7B 模型用 8 张 A100 训两周，70B 模型要 256 张 A100 训两个月。混合精度把显存砍半，梯度累积用小 batch 模拟大 batch，ZeRO 把优化器状态切片到多卡——每一项技术都在'显存、通信、稳定性'三角里权衡。你选的不是最好的方案，是算得起的方案。」
训练配置计算器 · GPU / 时间 / 成本
选参数量 7B/13B/70B → 算 GPU 数/训练时间/成本 → 切换训练技术看节省
模型参数量选择
训练资源估算 · GPU / 时间 / 成本
训练技术切换 · 看显存/速度节省
详解 · K12-09 预训练基础设施：大规模GPU集群/混合精度/数据并行
训练算力有拇指公式 C≈6ND（前向 2ND + 反向 4ND）。如实验算：7B 模型 × 140B tokens → C=6×7e9×1.4e11≈5.9e21 FLOPs；单张 A100 BF16 峰值 312 TFLOPS，按 45% 实际利用率（MFU）约 1.4e14 FLOPS，8 张卡要跑约 60 天——台上"8 卡 14 天"是教学化的乐观近似，真实 7B 级预训练通常需数十张卡数周，此处以口径诚实为要。三项标配技术：混合精度（FP16/BF16 存激活与梯度，FP32 保主权重与梯度归约，显存近半、吞吐近倍）；梯度累积（K 次小前向/反向累积出等效大 batch，通信次数除以 K，代价是串行时间）；数据并行与 ZeRO（Rasley et al., 2020——ZeRO-1 切优化器状态、ZeRO-2 加梯度、ZeRO-3 再加参数，三级把显存墙逐级推远）。还要一条命门：千卡训练的平均无故障时间以小时计，checkpoint 与断点续训是基础设施的一等公民。台上三根柱子（GPU/天数/成本）随三个开关联动，正对应这套权衡。教材对照：Brown 2020、Shoeybi 2020。
Boss 战 · 预训练三问
炼丹炉之上，过拟合之雾完整现身——它不是人形，是一团无限翻涌的灰绿雾气，雾里反复回放着同一段训练曲线：loss 下降，验证 loss 反弹，循环往复。它翻开一本雾账：「你来了。带着你的两道刻痕，和你的雾账。三问。答对，我消散。答错，你的结丹修为归零。」
过拟合之雾
「你说你的模型在背题——它没有错，它只是把训练集记住了。证明给我看：你真的懂预训练了吗？Chinchilla 告诉你什么？BERT 和 GPT 差在哪？涌现为什么测不准？你的两道刻痕不是耻辱，是你的排除法——每一条'此路不通'，都在告诉你正确的路在哪里。」
雾账累计 0 笔 · 三问全对后清零
详解 · K12-16 预训练模型的局限性：幻觉/知识截止/偏差
雾散了也要诚实。三大局限：幻觉——预训练目标是"似然最大的续写"而非"事实为真"，模型会输出高概率但错误的陈述，Huang et al. 2023 的综述把根源归为训练数据本身有错、参数化知识过期、解码采样的随机性三条；知识截止——世界知识冻结在语料截止日，之后的事件一无所知，只能靠检索增强或续训补课；偏差——语料即社会偏见之镜，性别、地域、立场偏差被统计规律原样蒸馏进权重，这是花书里"数据分布偏移"的预训练版本。更深层的一条：参数化记忆容量有限，模型会在知识空洞处"编造插值"填补；训练集去重不净时，看似理解实为逐字复述——恰是过拟合之雾的本体。工程对策三路并行：RAG 检索外挂事实、微调对齐压制幻觉输出、引用与不确定性估计暴露置信度。三问的答案从来不是"预训练完美"，而是"预训练有明确边界，边界之外靠后训练补"。教材对照：花书 Ch5、Huang 2023。
顿悟 · 预训练即炼丹
雾散之后，你站在炼丹炉顶。山脚是你走过的路——范式殿、掩码阁、过拟合渊、自回归阵、分词殿、规模殿、涌现崖、炼丹炉。炉顶放着一颗刚炼成的金丹，金丹表面流动着 token、注意力、幂律曲线。高斯老祖：「这颗金丹不是参数，是世界知识的影子。你炼的不是模型，是语料里的规律。」
高斯老祖
「预训练范式的全部，就是一句：用海量无标注数据，把世界的统计规律蒸馏成参数。数据是炉火，参数是丹炉，算力是薪柴，架构是丹方。Chinchilla 给你配比，Scaling Laws 给你物理定律，涌现给你赌注，工程给你可行性。结丹二层·预训成丹——你已圆满。但金丹要化为器用，还差最后一步：微调与对齐。」
顿悟 · 预训练刻文 + 知识图谱 + 境界突破
点亮预训练刻文 → 知识图谱点亮 → 境界突破动画（结丹二层圆满）
预训练刻文 · 炼丹六要
预训练知识图谱 · 八节点点亮
详解 · K12-17 开源预训练模型生态：HuggingFace生态
预训练的成果以"权重即资产"的形式沉淀为公共设施。HuggingFace Hub 是事实标准：transformers 库一行 AutoModel.from_pretrained() 即可加载数千个预训练权重，Model Card 记录数据来源、许可证与已知缺陷，Datasets 库统一语料接口。生态三主线：BERT/RoBERTa 编码器系——理解类任务（分类/检索/NER）的性价比之王至今未退位；LLaMA 系——Meta 2023 年 2 月放出 7B~65B 权重，触发全球复刻潮：Alpaca 微调、Vicuna 评测、ChatGLM 与 Chinese-LLaMA 等本土谱系，开源大模型从零到百花只用了一年；BLOOM（BigScience，176B 多语言）与 Mistral（7B，Apache 2.0）代表许可证友好路线。取丹三问：许可证（LLaMA 系限商用，Mistral Apache 2.0 随意改）；参数量与推理成本（7B FP16 约需 14GB 显存，INT4 量化后约 4GB）；数据与评测透明度（有无 Model Card、基准是否去污染）。S10 刻文说"金丹要化为器用"——器用的第一站就是这生态：不必自己开炉，先学会取丹。教材对照：HuggingFace 文档。
复盘 · 预训成丹主线
主线一句话：预训练 = 用自监督目标把海量无标注语料的统计规律蒸馏进参数。回放八环：炼丹之门四因素下注，揭底数据质量是炉火（架构=容器、算力=薪柴、种子=起点）；范式殿立碑，范式革命即迁移学习，一次预训练摊薄千任务成本；掩码阁拆 BERT——MLM 双向理解，15% 掩码、8:1:1 替换；过拟合渊第一崩塌，训练 loss 降而验证 loss 升 = 背题不学，容量超数据信息量是根因；自回归阵拆 GPT——因果掩码逐 token 生成，每个位置都是监督信号（密度约为 MLM 的 6.7 倍）；分词殿三刀——BPE 贪心合并、WordPiece 似然选择、Unigram 概率裁剪，词表大小是序列长度与覆盖率的权衡；规模殿两条定律——Kaplan 幂律 L∝N^-0.076、Chinchilla 修正为数据:参数≈20:1 的算力最优配比；涌现崖看相变——阈值前为零、阈值后跃升，且对度量方式敏感；炼丹炉算账——C≈6ND 定预算，混合精度/梯度累积/ZeRO 三件套撑住显存墙。两道刻痕（背题不学、小模型无能）不是失败，是排除法替你圈出的可行域。结丹二层圆满；下一章金丹化为器用：微调、对齐与语言通神。