大模型后端工程师

讲清楚规模语境：QPS 量级、并发用户、模型规格（7B/70B、量化与否）、延迟要求（首 token/整包）、硬件配置。然后讲架构：推理引擎选型（vLLM/TGI/TensorRT-LLM）、部署形态（单机多卡/分布式）、扩缩容策略、与网关/业务层的接口。量化结果：吞吐提升、成本下降、稳定性（错误率/降级次数）。这题是定调题，规模数字决定后续问题深度，务必真实——后面每个环节都可能被追问细节。

自回归解码每步都要访问之前所有 token 的 Key/Value 投影，KV Cache 把它们缓存避免重复计算，把每步复杂度从 O(n²) 降到 O(n)。代价是显存占用随序列长度线性增长，常常是长上下文场景显存的第一瓶颈。由此引出优化谱系：PagedAttention（vLLM 分页管理 KV，减少碎片、提升并发）、前缀缓存（共享系统提示的场景复用前缀 KV）、量化 KV（FP8/INT8 压缩）、显存换算（模型权重+KV+激活 决定 batch 上限）。能显式算一笔显存账是强区分点。

协议层：SSE 的断线重连与事件 id、心跳保活、代理/CDN 对长连接的缓冲配置；网关层：超时策略（空闲超时 vs 总超时）、背压传导（下游慢时限流）、连接数管理；可靠性：客户端断开后及时取消上游请求（省 token 与算力）、断点续传或重生成幂等；可观测：首 token 延迟（TTFT）作为核心指标单独监控。展示对「生成式流式」不同于传统 REST 的工程理解。

关键认知：LLM 推理的负载维度是二维的——请求速率与序列长度分布，容量不能用单一 QPS 描述。压测要模拟真实 prompt/output 长度分布（影响 KV 显存与排队），观测 TTFT 与 TPOT（每 token 延迟）两条 SLO 曲线随并发的拐点。容量模型：单卡显存决定最大 batch → 吞吐上限 → 卡数冗余（含故障与流量峰值）。动态批处理（continuous batching）下行为非线性，必须实测。加分：谈预热（模型加载冷启动）与潮汐弹性。

分输入与输出两侧、事前事中事后三层：输入侧做注入防护（系统提示隔离、用户内容标记）与敏感意图识别；输出侧做敏感内容过滤（分类模型/关键词/规则）、越权内容校验（如医疗法律建议的免责与范围控制）；事中留痕可追溯（审计日志）、限流防滥用；事后 badcase 回流优化策略。红线意识：未成年人保护、暴力违法内容必须硬阻断而非软过滤。展示「安全是系统工程不是单点」的认知，以及与合规协作的意识。