AI 基础设施工程师

先亮子方向与深度：训练侧（并行策略、框架改造、稳定性）、推理侧（引擎优化、量化部署）、编译侧（算子融合、图优化、codegen）。用代表性成果锚定能力：如「把 70B 训练的 MFU 从 35% 提到 52%」「算子融合让 attention 前向快 30%」。AI Infra 是强手艺活，面试官会沿你说的每个点深挖（怎么测的、瓶颈怎么定位的、为什么这个方案），务必只写真实做过的。

数据并行：复制整个模型，梯度同步（AllReduce），通信量与参数量成正比，适合小模型；张量并行：切分层内权重（列/行切分），层内通信（AllReduce/AllGather）密集，适合大模型单层放不下的场景，需要高带宽互联（NVLink）；流水线并行：按层切分到不同设备，微批交织（1F1B、interleaved）填气泡，容忍较低带宽。组合即 3D 并行：外层 DP+PP+TP 按集群拓扑分配（TP 走 NVLink 域内、PP 跨机、DP 最外层），ZeRO 再切优化器状态省显存。能画出拓扑与通信流是合格线。

现象：loss spike 或 NaN、loss 不收敛、个别 rank 挂起。排查路径：先定位引入点（数据：脏样本/异常分布；代码：近期变更的回归；超参：lr 与 warmup；数值：混合精度溢出）。常用手段：loss 曲线按 step 对齐定位 spike 起点抽查该 batch、开 debug 模式重放可疑 batch、bf16 替代 fp16 减少溢出、梯度裁剪与 norm 监控。工程侧：确定性对齐（NCCL 版本、随机种子）、checkpoint 快速回滚与跳 batch 重启策略。展示「先保住训练进度再根治」的实战优先级。

MFU=实际每秒 token 吞吐/（卡理论算力×激活参数量），衡量算力利用率（40-60% 即优秀）。提升按瓶颈分类：计算瓶颈（算子融合、flash attention、编译优化、更高效率 kernel）；通信瓶颈（并行策略与拓扑匹配、通信计算重叠、梯度压缩）；显存瓶颈（ZeRO/激活重计算/Offload 换取更大 batch）；数据瓶颈（预处理流水线、存储带宽）；调度瓶颈（弹性容错、快恢复）。方法论：nsys/torch profiler 先归因，再对最大瓶颈下刀，收益数据闭环。

量化误差来源：权重/激活的离群值导致定点表示损失（LLM 的激活 outlier 是难点，通道级离群主要在特定维度）。方案梯度：PTQ（round-to-nearest、GPTQ 逐层补偿误差、AWQ 按激活分布保护关键通道）成本最低；QAT 精度最好但训练成本高。敏感度分析：逐层量化做 layer-wise 掉点测试定位敏感层（混合精度：敏感层保 fp16）、按通道尺度校准（minmax/percentile/ mse）、评测集验证（PPL 掉幅+下游任务）。回答结构：现象→归因→分层方案→验证闭环。