模型微调

全参微调更新模型全部权重，效果上限最高但成本巨大：7B 模型仅权重 fp16 约 14GB，训练还要加梯度、优化器状态（Adam 一份约两倍权重）与激活，动辄数十到上百 GB 显存，且每个任务存一份完整模型。LoRA（低秩适配）冻结原权重，只在旁路注入两个低秩矩阵 A 与 B（秩 r 常取 8 到 64），训练参数只占全量的百分之零点几，显存大降、可训更大模型，产物是几十 MB 的适配器可插拔复用（多任务多 LoRA 切换），效果在多数任务接近全参。QLoRA 在此之上把冻结的底座量化成 4bit（NF4 数据类型加双重量化）再训 LoRA，单张 24GB 消费卡可微调 33B 级模型，代价是训练略慢与极小的精度损失。选型：数据多与资源足全参，多数业务场景 LoRA 或 QLoRA 起步。能算显存账即满分。

按问题性质分流。提示工程解决「行为指令层」：格式、风格、步骤、角色——成本最低、改了立即生效，永远先试。RAG 解决「知识层」：事实性、时效性、私有数据问答——知识可随时更新、可溯源、不用训练，但改变不了模型的固有风格与能力。微调解决「能力与风格层」：稳定输出特定格式（严格 JSON、方言与术语、公司写作规范）、提升特定任务表现（领域分类、抽取、代码风格）、小模型对齐特定行为降本、注入难以放进上下文的隐性模式；知识类需求尽量别靠微调（会过时、不可溯源、易幻觉）。决策顺序：提示、RAG、再微调，并明确微调的输入是「行为样本」而非「知识条目」；三者常组合（微调定风格与格式，RAG 供事实）。还要评估数据量：高质量样本几百到几千条即可 LoRA 见效，太少不如提示。能按层次分流并讲组合即优秀。

质量远大于数量：一千条高质量样本胜过十万条噪声。数据来源：人工撰写（金标准但贵）、真实日志改造（线上好答案脱敏转训练对）、强模型蒸馏（用旗舰模型生成候选，人工抽检过滤，注意供应商条款）、规则合成（模板变换扩多样性）。格式对齐：样本结构即推理时的输入输出形态（指令、输入、输出三段式或对话消息列表），系统提示与推理侧保持一致，否则学到的是错位映射；字段规范（assistant 与 user 交替、工具调用回合的完整轨迹）。清洗与均衡：去重与去冲突（同类输入相反答案最伤）、难度与场景覆盖均衡、负样本设计（不该答的拒答样本、防过度热情）、长度分布合理。配比：通用数据混入一定比例防能力遗忘（如领域数据加通用指令混合）。切分与防泄漏：训练验证测试严格分集，评估集不进训练。能讲格式对齐加蒸馏清洗即完整。

发现：训练与验证 loss 分叉（训练降验证升）是过拟合信号；能力回归测试下降——通用基准（MMLU 类）与通用指令跟随变差、拒答异常、输出多样性坍缩（重复句式）即灾难性遗忘。缓解手段：数据侧——控制轮数与规模（LoRA 小数据一两轮即可）、混入通用数据（领域与通用一比三到一比五起试）、增加样本多样性；参数侧——降学习率（LoRA 常用 1e-4 量级到 2e-4）、早停按验证集指标停、缩小秩 r 与目标模块（只调注意力投影层往往更稳，调全模块易过拟合）、LoRA 的 alpha 缩放系数控制适配强度；训练侧——label smoothing、权重衰减、NEFTune 噪声提升泛化。评估侧必须建双轨：领域任务成绩加通用能力回归集，两者都守住才算成功。能讲双轨评估与三条缓解线即优秀。

对齐训练的三个阶段与技术。SFT 监督微调是基础：用「指令到高质量回答」数据做标准的下一词预测，让预训练模型学会对话与指令跟随，现在微调大多指这一步。RLHF（人类反馈强化学习）在 SFT 后：训练奖励模型（人类对同一问题多个回答排序，学 RM 打分），再用 PPO 类算法让模型生成被 RM 打高分的回答（策略模型加参考模型加 KL 约束防止漂移太远），效果好但工程复杂（四模型在显存里协同、训练不稳定、超参敏感）。DPO 直接偏好优化绕开 RM 与强化学习：用「偏好对」（同问题回答 A 优于 B）直接推导出类似 RLHF 目标的损失，稳定简单、易于部署，成为主流替代；同族还有 IPO、KTO、ORPO 等变体。业务侧多数定制需求停在 SFT 加 LoRA；要精细控制风格与安全取舍才上偏好优化。能讲三阶段递进与 DPO 的简化点即满分。