万象归一

Baltrušaitis 2019 的经典分类把多模态学习的挑战拆成五关：表征、翻译、对齐、融合、协同学习。台上四选的谜底直指其中最深的一关——对齐（alignment）：找到两个模态元素之间的对应关系（图里的哪块像素 ↔ 句子里的哪个词）。它与近邻两关常被混淆：翻译（translation）是把一个模态的内容映射成另一个模态的输出——看图说话是图→文、TTS 是文→声，只要输出不要对应；融合（fusion）是把多个模态的信息合起来做同一个预测——相机加雷达一起判断障碍物，只要结果不要过程。对齐为什么最难：图像是 224×224×3≈15 万个连续浮点、天然带空间结构，文本是十几个离散 token、只有序列结构——维度不同、粒度不同、信息密度不同，"哪个像素对应哪个词"根本没有唯一解。赌局里另外三个选项（数据量、模型规模、计算资源）都是"更多"，只有对齐是"不同"——堆量解决不了异质空间的结构匹配，这正是本章两道刻痕要反复证明的事。

视觉侧的"模态翻译官"有三条主要路线。ViT（Dosovitskiy 2020）：把 224×224 图切成 16×16 patch（196 个）线性投影成 token 序列加位置编码，纯 Transformer 处理——连续像素从此离散化，右镜 token 世界里的序列就是它产出的。CLIP ViT-L/14（304M 参数、14px patch）是 LLaVA 系多模态 LLM 的默认眼睛：图文共训换来语义对齐与开放词汇理解。SigLIP（Zhai 2023）把 InfoNCE 的 softmax 换成成对 sigmoid 二分类——不需要全 batch 归一化，负样本贡献随 batch 线性堆、小 batch 也吃得饱，是 CLIP 的即插即用升级。DINOv2（Oquab 2023）走另一条路：无标签自蒸馏，特征强在稠密感知（分割、深度、点对应），但从未和语言对齐。选型口诀：要开放词汇/检索/图文对话 → CLIP/SigLIP；要分割/深度/空间对应 → DINOv2。共同代价是 token 数：patch 越小、token 平方级膨胀——14px patch 在 336px 图上产出 576 个视觉 token，全部要进语言模型的上下文；每换一次编码器，都是在对齐能力与上下文成本之间重新下注。

Radford 2021。双塔架构：图像编码器（ResNet 或 ViT）与文本编码器（Transformer）各自把输入编码成向量，再经投影压到同一个 d 维（512）共享空间——沙盘上玫红点与金点落进同一张图，就是这两个塔的输出。训练目标是 InfoNCE：一个 batch 取 N 对图文，算 N×N 余弦相似度矩阵，对角线是正样本、其余是负样本，双向交叉熵（图→文 + 文→图）。零样本分类是对比训练的红利：把每个类名填进模板 "a photo of a {label}" 编码成文本向量，图像向量与谁最近就分给谁——完全不需要 ImageNet 那种标注训练。成绩单：4 亿图文对（WIT-400M）弱监督训练的 CLIP ViT-L/14@336px 在 ImageNet 零样本 top-1 达 76.2%，与全监督 ResNet-50 相当；在 ImageNet-R/A/V2 等自然分布偏移集上反超全监督——"图文匹配"这个结构信号比人工标签更通用。代价：双塔只学到"全局匹配"，细粒度任务（数数、空间关系、读文字）弱——这些缺口正是 S4 投影层路线要补的。

温度滑杆背后的三本账。①温度 τ：InfoNCE 里 τ 除在余弦相似度上、控制 softmax 锐度。τ 太小 → 分布过尖，梯度全押在最难负样本上，训练震荡；τ 太大 → 分布趋平，正负样本几乎同权，对齐信号消失。τ=0.07 附近最稳——CLIP 把 τ 设为可学习参数（初始化 0.07，logit 缩放钳制上限 100，防止训练把它压到 0 而退化），让数据自己选锐度。②数据规模：性能随图文对数量近似对数线性增长——4 亿对（WIT-400M）是从 1 亿、2 亿一路试出来的；"弱监督"意味着数据是互联网抓取的图文对，不需要人工标注。③batch 规模：softmax 对比学习的负样本只能来自同 batch，CLIP 用 32,768 的超大 batch（592 块 V100、18 天）硬喂出足够负样本——这也正是 SigLIP 改 sigmoid 的动机：成对二分类不需要全局归一，小 batch 也够吃。沙盘上拖动光点时损失读数跳变，就是这 N×N 矩阵在重新算账。

LLaVA（Liu 2023）把三层塔压缩成一句话：CLIP ViT-L/14 当眼睛（冻结，产出 H×W/P² 个视觉特征，224px/14px patch → 256 个），投影层当翻译（LLaVA-1.0 是单个线性矩阵 W，LLaVA-1.5 升级为两层 MLP GELU——参数从 0.8M 涨到 20M，对齐质量显著提升），Vicuna/LLaMA 当大脑（视觉 token 与文本 token 拼成一条序列进 LLM，视觉 token 对注意力而言与文字 token 无异）。另一条路线是 Flamingo（Alayrac 2022）：不拼接、插层——冻结 LLM，在层间插入门控交叉注意力（tanh 门控初始化为 0，训练开始时视觉信息"零输入"，保护预训练语言能力），视觉侧用 Perceiver Resampler 把任意数量帧压成固定 64 个 token。两条路线的 trade-off：拼接式（LLaVA）实现简单、训练便宜、指令跟随强，但视觉 token 侵占上下文；插层式（Flamingo）保 LLM 不动、上下文省，但架构复杂、门控调参难。共同点：视觉编码器几乎总是冻结——4 亿图文对预训练的 CLIP 特征已足够通用，端到端全解冻反而过拟合小数据。台上那座三层塔的"投影层最小"是刻意的：翻译官越小，越证明对齐主要靠语言侧学。

LLaVA 的真正贡献不是架构（架构只是三段拼接），是数据配方：用 GPT-4 从 COCO 图"无中生有"造出 158K 视觉指令数据——给 GPT-4 文字版的 caption + 检测框（不给图！），让它按三种模板生成多轮对话 58K、详细描述 23K、复杂推理 77K。这是"模型造数据喂模型"的第一次大规模示范：教师（GPT-4）没看过图，却凭结构化描述产出了高质量图文对话——学生（LLaVA）学到的是"如何组织语言回答视觉问题"而非新知识。两阶段训练严格分工：Stage 1 特征对齐——只用 595K 原始图文对（COCO caption），冻结 ViT 和 LLM，只训投影层，把视觉特征拉进语言空间，1 个 A100 一天内可完成；Stage 2 端到端微调——解冻 LLM，用 158K 指令数据训练整条链路（ViT 仍冻结），对话能力在此阶段涌现。后续演进：LLaVA-1.5 加学术任务数据（VQA/GQA/OCR）做数据平衡并扩到 665K，缓解幻觉；Zhu 2023（MiniGPT-4）同思路验证了该配方的泛化性。台上两阶段训练曲线的分界线，就是 Stage 1→Stage 2 的换挡点——第一阶段损失骤降（学映射），第二阶段缓慢下降（学对话）。

前向是一条确定的无记忆链：q(x_t|x_{t-1}) = N(√(1−β_t)·x_{t-1}, β_t·I)，β_t 从 1×10⁻⁴ 线性爬到 0.02，T=1000 步后图像变纯噪声。妙处是有闭式解：x_t = √ᾱ_t·x₀ + √(1−ᾱ_t)·ε（ᾱ_t = Π(1−β_i)）——任意 t 的加噪图一步可得，训练时不用真走 t 步。反向是学出来的：模型 ε_θ(x_t, t) 预测当前混入的噪声，DDPM（Ho 2020）把损失化简为 L = E‖ε − ε_θ(x_t, t)‖²——一个看似回归噪声的任务，等价于学 score（score-based/SDE 视角，Song 2021）。为什么必须 1000 步：每步反向只是一个小高斯移动，步子跨大模型预测的均值就不准——前向滑杆拖到 t=1000 与反向只去 50 步的差距全在这。DDIM（Song 2021）的破局：改用非马尔可夫前向，反向变成确定性映射，跳步不累积随机误差——50 步即可达到 DDPM 1000 步的质量（质量曲线两条指数逼近曲线同到 99.3% 时步数差 20 倍），还附带一个红利：确定性轨迹上可以做图像插值。

像素空间做扩散太贵：512×512×3 = 78.6 万维上跑上千步去噪，训练与生成都烧钱。LDM（Rombach 2022）的两级压缩：先训一个 VAE，把图压进 64×64×4 的潜空间——数值量 786,432 → 16,384，压缩 48 倍而感知质量几乎不丢；扩散全部在潜空间做，U-Net 去噪 + 交叉注意力注入条件（文本经 CLIP 文本编码器），生成完 VAE 解码器再放大回像素。Stable Diffusion 1.4/1.5（2022 年开源权重）就是这个配方——消费级 GPU 可跑可训，ControlNet、LoRA 微调、数百万用户生态的地基。采样还有个关键旋钮：无分类器引导 CFG（Ho & Salimans 2022），条件与无条件得分按权重 w 外推——w 大贴合提示词但多样性降，w 小反之。范式仍在演进：DiT（Peebles 2023）把 U-Net 换成 Transformer 骨干，Sora 与 SD3 都沿这条路。本章熔炉演示的是扩散原理，SD 的贡献是把扩散搬进便宜空间——原理与工程各占半壁。

嵌入空间一旦对齐，检索就成了几何问题：以文搜图——把 query 文本编码成向量，与图库全部向量算余弦相似度，取 top-k；以图搜文反向同理。双向指标 Recall@K（Flickr30K 与 MSCOCO 1K/5K 是标准考场）：CLIP 零样本在 Flickr30K 文搜图 R@1 约 88%——不用任何检索标注，纯对比学习送出来的红利。工程上的精度/速度权衡：双塔（bi-encoder）两模态独立编码、向量可离线建库、近邻搜索（FAISS）毫秒级，但"匹配"只发生在余弦距离这一层；交叉编码器（cross-encoder）把图文拼在一起过 Transformer，精度高却要逐对打分，只能给 top-几百做重排序——工业管线标配"双塔召回 + 交叉精排"。训练侧的关键技巧是硬负样本挖掘（hard negative mining）：batch 内随机负样本太容易，专挑与 anchor 语义相近的图（如同一类物体）当负样本，InfoNCE 的梯度才会逼着模型学细粒度区别。星空里"匹配的靠近、不匹配的推远"，在检索系统里就是召回率与误检率的消长——对齐质量直接写在 R@K 曲线上。

幻觉不是多模态的发明——Rohrbach 2018 在纯 captioning 模型上就发现"对象幻觉"：MSCOCO 上模型偏爱高频对象（person、chair），把图里没有的常见物写进描述，CHAIR 指标（Caption Hallucination Assessment with Image Relevance，按检测/分割的真值对象核对 caption 里提到的对象）就是为量化它而生。多模态 LLM 继承并放大了这个病：POPE（Polling-based Object Probing Evaluation）用"图里有没有 X"的是非题直接探针——LLaVA 类模型对高频对象的"有"偏向明显高于真实比例。三大缓解路线：①数据侧——LLaVA-1.5 的做法，掺入学术 VQA/OCR 数据平衡指令分布，并给"图中没有"类负样本示范；②解码侧——视觉对比解码 VCD（Leng 2023）：同时跑有图/无图两次前向，logit 相减放大"图带来"的成分、抹去语言先验的惯性；③接地侧——让回答锚回视觉证据（region grounding、引用 bbox），答案必须可追溯到像素。镜中"海边有两个人"的病理链完整复现了教科书案例：视觉编码丢了"只有一个人"的计数细节 → 语言先验"海边通常有人牵手散步"顶上 → 生成流畅但失真的句子。流畅度与忠实度的张力，是多模态幻觉的核心难题——越会说话的模型，越容易把"合理"说得像"真实"。

Whisper（Radford 2023）的打法是"用数据量换鲁棒"：68 万小时互联网弱监督音频、覆盖 96 种语言（英语占 43.8 万小时），比此前最大语音训练集大一个量级。架构是朴素的编码器-解码器 Transformer：输入固定 30 秒窗口的 80 通道 log-Mel 频谱，输出端用特殊 token 序列同时指挥多任务——语言识别、转写、翻译、时间戳，一个序列全包。抗噪、抗口音、零样本迁移是它的招牌；代价是 30 秒定窗——不能流式、不能实时（要流式得换 RNN-T 类架构）。语音 Tokenization 是"语音进 LLM"的前置工序，分两族：语义 token（HuBERT/w2v-BERT 离散单元，约 50 个/秒，携带内容）与声学 token（神经编解码器 EnCodec/SoundStream 的 RVQ 码本，约 75 个/秒，携带音色与韵律）；VALL-E（Wang 2023）把 TTS 做成"码本 token 上的语言模型"——3 秒声音提示即可零样本克隆音色。语音一旦离散成 token，与视觉 token 同构——同一道对齐题，换个声波入口再做一遍。

视频 = 空间 × 时间 × 长序列，三重代价逐级放大。理解侧的演进：从 3D 卷积（C3D、I3D）到视频版 Transformer（TimeSformer、ViViT——空间注意力与时间注意力分解计算），再到 VideoLLaMA 这类"视频进 LLM"路线——帧序列走视觉编码器、音轨走音频编码器，双双投进语言空间。生成侧的里程碑是 Sora（Brooks 2024）：不再"逐帧生成再拼接"，而是把整段视频压进时空潜空间、切成时空 patch，用扩散 Transformer（DiT）整体去噪——任意时长、任意分辨率、任意宽高比统一处理。报告里最惊人的是涌现能力：3D 一致性（镜头绕物体转、形状不融）、物体恒存（物体出画再入画还在）——没人显式教过这些"物理感"。真正的瓶颈是长序列：1 分钟 24fps 视频哪怕压到每帧 64 token 也是 9 万+ token，注意力 O(n²) 直接爆表——"帧间一致性"与"上下文长度"是排在分辨率之前的两场硬仗。每多一个时间维度，鸿沟深一丈——本章这句台词在视频这里最应验。

NeRF（Mildenhall 2020）的赌注：不显式建几何，直接学一个连续函数 F(x,y,z,θ,φ) = (RGB, σ)——输入 5D（3D 位置 + 2D 视角方向），输出该点颜色与体密度。渲染用体渲染方程：从相机向每个像素发射线，沿线采样累加 C = Σᵢ Tᵢ(1−e^{−σᵢδᵢ})cᵢ。两个关键细节：①位置编码——把坐标用多频 sin/cos 展开，否则 MLP 学不出高频细节（NeRF 论文的第二个核心贡献，常被忽略）；②逐场景优化——一个 MLP 只忠于一个场景，训练以小时计、渲染以秒/帧计。3DGS（Kerbl 2023）反其道行之：用数百万个显式 3D 高斯（位置 + 协方差 + 不透明度 + 球谐颜色）表示场景，可微瓦片光栅化直接泼溅——训练以分钟计、渲染 100+ fps 实时，SfM 点云（COLMAP）做初始化。NeRF 是"函数即场景"，3DGS 是"点云即场景"；共同本质是把 2D 照片升维成 3D 世界——空间维度的模态鸿沟，被"多视角监督 + 可微渲染"这座桥跨过。注意台上那道 F(x,y,z,θ,φ)——输入 5D 不是笔误：视角方向 (θ,φ) 是二维的。