模型服务化

分层考虑。模型层：权重与分片（多卡张量并行、KV 缓存显存预估）、量化权衡（精度损失换吞吐）、推理引擎选型（vLLM、TGI、TensorRT-LLM）。服务层：标准化 API（OpenAI 兼容接口降低接入成本）、流式输出、批处理策略（动态凑批提高吞吐但增加延迟方差）、并发与排队（等待队列、超时与丢弃策略）。可靠性：健康检查（模型真正可推理而非进程活着）、优雅停机（排空在途请求）、多副本与负载均衡、故障转移与限流降级（模型侧过载时排队或降级小模型）。运维：GPU 指标（利用率、显存、温度）与服务指标（QPS、TTFT 首 token 时间、TPOT 每 token 时间、成功率）双监控、灰度发布与快速回滚、版本与产物的对应关系（模型哈希加配置加提示模板版本）。成本：GPU 利用率与弹性缩容、冷启动与常驻的取舍。能成体系列全即优秀。

两个核心机制。PagedAttention 把 KV 缓存像操作系统虚拟内存一样分页管理：传统实现要为每个请求按最大长度预留连续显存，碎片与浪费严重（预留 2048 只用 300 也占着），实际利用率仅两到四成；PagedAttention 把 KV 切成固定块按需分配、逻辑块映射物理块，显存利用率提到九成以上，相同卡多承载数倍并发，还支持前缀共享（同系统提示的请求共享物理块，进一步省算省存）。连续批处理（continuous batching，iteration-level scheduling）：静态批处理要等整批最长序列生成完才释放，短序列陪着等；vLLM 在每次迭代粒度上调度——已完成的立刻退出腾位、新请求立刻插入，配合 PagedAttention 的按块分配实现无迁移插入，GPU 一直满转。再加 CUDA 图优化与抢占式调度（内存不足时换出重算）。能讲两个机制的对比原状即满分。

先分指标再下药：TTFT 首 token 时间（预填充阶段算力敏感）与 TPOT 逐 token 时间（解码阶段带宽敏感），两者优化手段不同。模型侧：量化（INT8、FP8、INT4 权重量化）减少访存与大算子时间，蒸馏小模型，投机解码（小模型草拟多 token、大模型并行验证，等效一次出多 token）。引擎侧：PagedAttention 与前缀缓存复用 KV（系统提示长的场景 TTFT 大降）、连续批处理调参（batch 上限与等待时间权衡延迟吞吐）、CUDA 图消除算子启动开销、算子融合与高性能 attention 内核（FlashAttention、FlashInfer）。系统侧：把模型与用户放近（同区域）、连接复用与流式传输、预热的常驻实例避免冷启动、请求分级（交互类优先小 batch、离线走大 batch 便宜通道）、缓存高频问题。硬件侧：更高带宽显存（HBM）对解码收益直接。能按 TTFT 与 TPOT 分类给手段即优秀。

与无状态服务不同：模型常驻显存，实例重载慢（分钟级冷启动），扩容响应不及时；单请求执行也可能占满整卡（多卡张量并行的模型副本即一组卡）。策略：按指标扩缩容要考虑自定义指标（队列深度、TTFT P95、并发 token 吞吐）而非 CPU；预留缓冲容量应对突发（扩容速度赶不上流量尖峰，靠排队与限流吸收）；缩容要粘性（按空闲时长而非瞬时），避免抖动反复加载模型；多模型共卡用显存配额与优先级调度（MIG 切分或时分复用），K8s 上设备插件报显存、或用 KServe 加 Triton 的模型仓库按需加载卸载。批处理型离线推理（评测、批量 embeddings）走队列系统独立通道（Ray、Spark），不与在线争抢。成本优化：错峰缩容、抢占式实例跑离线、量化与小模型分担流量。能讲冷启动与自定义指标扩缩即完整。

产物管理：模型权重、分词器、配置与提示模板是一个整体版本单元，制品库存哈希与元数据（训练数据版本、评估分数、量化配置），部署引用版本号而非 latest；提示模板与代码变更也要纳入版本（很多线上事故是提示改动而非权重）。灰度路径：影子流量——新版本双跑同请求但只记录不返回，离线对比输出差异（分布漂移、长度、拒绝率）；小流量灰度——按用户特征或百分比放流，观察业务指标（采纳率、投诉率、转人工）与技术指标（延迟、安全拦截率），自动回滚阈值；A/B 实验要算样本量与周期，避免噪声误判。回滚能力：版本秒切（权重预热的多版本共存或快速加载缓存），配置与权重一起回滚。评估门禁：上线前必须过离线评估集（准确率、毒性、越狱测试）加红队抽样。能讲影子加灰度加门禁三段即优秀。