部署归元

Google MLOps 三级：L0 手动流程——notebook 训练、手动部署、漂移靠人肉发现，模型与代码脱节；L1 ML pipeline 自动化——训练流水线自动跑，但部署与重训仍需人触发；L2 CI/CD 全自动闭环——代码/数据/模型变更自动过测试、自动构建、自动部署，叠加持续训练（CT）：监控检测漂移→自动触发重训→自动上线→指标劣化自动回滚。本章走过的正是 L0→L2 全程：S1 服务化、S2 容器化是部署地基，S4 监控是传感器，S5 CI/CD 与 S6 灰度是传动轴，S8 弹性是供血系统。判级标准只有一条：出漂移后，人要动几步。

三种服务形态对应三种延迟预算：请求-响应（同步）——客户端等单个结果，延迟=排队+前处理+推理+序列化，p99 由慢尾决定；流式——LLM 逐 token 回吐，首 token 延迟（TTFT）与每 token 间隔才是体验指标，总延迟被「感知」摊薄；批处理——攒 batch 换吞吐，等待窗口是延迟下限。选型可公式化：QPS×单请求算力 ≤ GPU 数×利用率，超了要么加卡要么改批。S1 实验台三条延迟柱（p50=80/120/300ms）就是三种形态的影子。

REST：HTTP/1.1 + JSON，人可读、生态全、网关友好，但 JSON 序列化大 payload 慢 2-5 倍、文本头开销大、无双向流；gRPC：HTTP/2 多路复用 + Protobuf 二进制，同 payload 体积省 3-10 倍、序列化快一个量级、原生支持双向流，代价是要维护 .proto 与桩代码、浏览器端需 grpc-web 代理。经验法则：对外网关用 REST（兼容性），内部微服务间推理调用用 gRPC（吞吐），大模型逐 token 输出用 gRPC-stream 或 WebSocket。

Triton Inference Server：NVIDIA 出品，多框架（TensorRT/PyTorch/ONNX）多模型并存，动态 batching + 多实例并发，适合传统 CV/NLP 模型的生产服务化；vLLM：LLM 专用，PagedAttention 把 KV cache 分页管理，显存利用率翻倍、吞吐比朴素实现高数倍，continuous batching 让请求随到随拼；Ollama：本地/边缘场景，量化模型一键跑，开发者友好但并发能力有限。选型看负载形态：CV 小模型集群→Triton，LLM 高并发→vLLM，个人/端侧→Ollama。

镜像分层：FROM cuda-base → pip install torch → COPY 权重 → CMD 起服务，每层可缓存，改代码只重建顶部两层。GPU 的坑在运行时：容器内看见显卡需要 NVIDIA Container Toolkit（nvidia-container-runtime 把宿主驱动注入容器 namespace），镜像里只装 CUDA 运行库不装驱动——驱动在宿主、库在镜像，版本要对齐兼容矩阵。镜像瘦身三板斧：multi-stage build（编译层与运行层分离）、slim 基础镜像、权重外挂 volume 不进镜像。

K8s 三件套：Deployment 管副本数与滚动更新，Service 管负载均衡，HPA 管自动扩缩。GPU 的特殊性：默认 K8s 只调度 CPU，装 NVIDIA GPU Operator/device plugin 后 GPU 才变成可调度资源（nvidia.com/gpu），Pod 在 resources.limits 里声明即可整卡独占——注意 GPU 默认不可超分，一张卡同一时刻只归一个 Pod（MIG 切分或 vGPU 才能破局）。调度层级：集群→节点→卡，碎片化是大集群利用率的隐形杀手。

三双眼睛盯三处：输入侧盯 P(X)——PSI/KS 检验对比训练与线上分布（PSI<0.1 稳定、0.1-0.25 轻微、>0.25 显著）；关系侧盯 P(Y|X)——概念漂移没有输入信号可看，只能靠延迟标签回流后的精度/校准度追踪，这是它最难抓的原因；输出侧盯异常——置信度分布突变、单类别占比暴冲，往往是上游故障或攻击的先兆。检测到漂移≠能定位：Sculley 2015 的警告——ML 系统里漂移会级联，一个数据的裂缝会在依赖链上放大成雪崩。

生产环境的模型既是数据入口也是出口：入口——用户上传（夜间照片、文本）可能带 PII 与违规内容，需脱敏与内容审核前置；出口——模型回复可能泄露训练数据（记忆提取攻击），需输出过滤。日志审计是事后追责的底线：谁在什么时候调了哪个版本、输入输出摘要、告警与回滚记录，全链留痕。合规三问：数据从哪来（授权）、存在哪（加密与保留期）、谁看过（访问控制）。监控屏幕上的每条曲线，本身也是要合规的数据。

监控基线不是天上掉的：训练时的指标分布、超参、数据版本、随机种子，全部来自实验追踪系统（MLflow/W&B 的 run 记录）。可复现性四要素锁死：代码 commit、数据快照（DVC 指针）、环境（镜像 digest）、随机种子——四者齐备，才能在半年后重放出「当时的模型为什么 99%」。没有追踪的模型是黑箱账本：漂移来了，你连基线长什么样都答不出，S4 的三屏联防从第一步就失明。

与软件 CI/CD 的核心差异：要测的不止代码，还有数据与模型。ML 流水线五段：提交（代码+配置）→ 单元/集成测试（含模型行为测试：对抗样本、边界输入、公平性）→ 构建（镜像 + 模型 registry 版本化）→ 部署（staging 环境验证金丝雀指标）→ 发布（灰度递增）。模型测试的独有层：数据校验（schema 漂移检查）、模型回归测试（新版本 vs 线上版本在同一 holdout 上对比，劣化即阻断）。流水线的价值不在快，在「每次变更都走同一扇门」。

三个层次别混：模型 registry 管「哪个版本可部署」（stage: none→staging→production→archived，一跳一审）；DVC 管「数据与权重的版本」（大文件用指针存 git，数据集也能回滚）；W&B 管「实验的版本」（超参-指标-产物三向绑定）。回滚的物理前提：线上跑的每个版本，其镜像、权重、配置、数据快照四件套都能一键取回——S6 的灰度递增与 S4 的告警回滚，底下垫的都是这套账本。

灰度与 A/B 是两件事：灰度是工程动作（流量 1%→5%→25%→100% 递增，盯告警随时回滚），A/B 是统计动作（两个版本同时分流，比指标谁显著优）。A/B 的数学纪律：先算最小可检效应（MDE）再定样本量——p=0.05、power=0.8 下检测 3% 的相对 CTR 提升，日活百万级也需数天；分流必须按用户哈希而非请求（同一用户固定分组，否则体验撕裂且样本不独立）；反复窥视 p 值会大量假阳性——要么用序贯检验，要么固定检查点。S6 实验台里样本涨、p 值跳，跳的就是这条纪律。

成本公式拆开打：总成本=卡数×时长×单价，优化只有三条杠杆。利用率：静态配置按峰值买卡，低谷 22 小时空转——批处理把请求攒批、continuous batching 随到随拼，单卡吞吐翻倍等于账单砍半；单价：spot/抢占式实例跑可重试的离线推理，价格约为按需的 1/3；模型体积：量化（FP16→INT8→INT4）与蒸馏，小模型接 80% 简单流量、大模型只啃硬骨头——级联路由。三条杠杆叠乘，S7 的 30 万月账单可以压回 5 万量级。

部署位置的连续谱：云端（全精度、可扩缩）→ 边缘服务器（INT8 量化）→ 端侧（INT4/稀疏化）。压缩三板斧：量化——FP16 权重压到 INT8，体积与带宽减半，精度损失通常 <1%，INT4 需 GPTQ/AWQ 类校准量化；剪枝——删低贡献权重，结构化剪枝（整通道删）才有真实加速；蒸馏——大模型当老师教小模型，损失 5% 精度换 10 倍体积缩减。端侧推理框架（ONNX Runtime/llama.cpp/CoreML）吃的是算子图优化与内存布局，同一模型换个后端吞吐差 3 倍不稀奇。延迟与隐私是端侧的两大红利：数据不出设备。

三个信号驱动扩缩：队列长度（最直接——积压就是欠的债）、GPU 利用率（有惯性，慢信号）、尾延迟 P99（用户体感的哨兵）。冷启动是弹性之痛：拉镜像+加载权重动辄数十秒到分钟级，流量洪峰来了才扩就晚了——预热池（低配待命 Pod）与镜像预热是标配。缩容比扩容更要温柔：优雅停机（排干队列再退出）+ 缓冲窗口（连续 N 个周期低负载才缩，防震荡）。K8s HPA 默认按 CPU 阈值扩缩，GPU 场景要接自定义指标适配器把队列长度引进来。S8 实验台三条曲线联动，就是这三个信号的同屏。

LLM 服务不是单体：RAG 链路=检索（向量库 ANN 查询）→重排（小模型打分）→生成（LLM 流式），三个组件三种资源画像——检索吃内存与索引、重排吃 CPU/小 GPU、生成吃大 GPU 显存，弹性伸缩必须按组件分层配置而非一刀切。Agent 编排再加循环：规划→工具调用→观察→再规划，单次会话可能拉起几十次 LLM 调用，队列与令牌桶限流是防止自我放大雪崩的闸门。监控也要分层：除接口延迟外，还要盯检索命中率、工具成功率、生成 token 吞吐——任何一环劣化，整条链的 SLO 崩塌。