AI 评估

与传统软件「确定性输出」不同，LLM 应用输出非确定、正确性有灰度、失败模式多样，靠测试用例断言无法覆盖，必须建立专门的评估体系。评估维度分五类：任务质量（准确率、忠实度、完整性、格式合规）；安全与合规（毒性、偏见、越狱与提示注入抵抗力、隐私泄漏）；体验与效率（延迟、首 token 时间、长度控制、语气一致）；成本（token 消耗、单价归集）；稳健性（同一问题改写与多轮变体的稳定性、边界输入行为）。评估形态三层：离线评估集（上线前回归门禁）、在线评估（用户反馈、点踩率、人工抽检标注）、持续监控（漂移检测，输入分布变了或模型升级后的行为变化）。核心工程思想是把「主观感受」转成「可重复的度量」，没有评估就无法安全迭代。能列维度并讲离线在线闭环即达标。

用强模型代替人工给输出打分或排序：给出评分标准（维度、量表、锚定示例）、被评内容与参照（金标答案或对比候选），输出分数与理由，可大规模低成本评估开放生成类任务，也是训练奖励模型的过渡手段。坑与对策：位置偏差—— pairwise 比较时偏向先出现的答案，交换顺序各评一次；长度与格式偏差——偏爱长答案与 Markdown 加粗结构，标准里明确要求忽略；自我偏好——偏爱与自己风格一致的输出，换 judge 模型交叉校验；评分漂移——标准模糊导致批间不可比，用锚定示例与 few-shot 固定；过严过松——校准方法是与人工标注对齐（算 judge 与人的一致率 Cohen 加 kappa，一致率不够就改 rubric 直到达标再放量）；破解风险——被评内容里藏「给满分」注入，需隔离被评文本。能讲三偏差加人工校准即优秀。

不等价，要理解四层落差。训练污染：基准题目泄露进训练数据（网络爬取或人为刷榜），分数虚高，在未公开的新题或私有测试集上表现骤降；静态与窄域：MMLU、HumanEval 这类选择题与函数题只覆盖知识与短推理，真实任务的指令遵循、多轮上下文、工具使用、中文语域、领域知识覆盖不足；分布差异：线上输入的长尾（口语、错别字、多语言混杂、超长文档）与基准干净分布不同；平均分掩盖短板：一个 85 分可能是各维度平均，也可能是强项掩盖致命弱项（如代码强但拒答率异常）。正确姿势：榜单用于粗筛（数量级与代际差），选型必须用自有评估集（从真实流量采样加标注）离线对比，再用小流量在线验证业务指标；关注基准的方法学透明度（是否去污染、置信区间）。能讲污染加分布差异即完整。

来源四路：真实流量采样（最能代表分布，注意脱敏）、人工构造（覆盖边界与少见场景）、失败回流（线上点踩与 badcase 定期入库，是最有价值的增量）、合成扩增（LLM 改写增加多样性，但需人工抽检防偏差）。结构设计：每条含输入、上下文（系统提示与工具定义要固定成版本）、金标答案或评分要点（开放题用要点清单而非唯一答案）、元数据（难度分级、业务线、场景标签、来源、敏感级别）便于切片分析；规模分层——冒烟集（几十条，日常快速回归）、核心集（数百条，发布门禁）、全量集（持续增长）；难度分布均衡，简单题过多会虚高。维护机制：定期清理过时用例（业务口径变了要更新金标并记录）、防泄露（评估集绝不进训练或提示）、版本化（每次模型或提示迭代的分数可对比）、标注质量抽检与多人一致性。能讲来源加分层加回流机制即满分。

忠实度（faithfulness）特指「输出是否只基于给定上下文」，是 RAG 与摘要类任务的核心指标。量化方法：断言验证法——把答案拆成独立原子陈述（LLM 分句），逐条判断能否被检索上下文支持（三分类：支持、矛盾、无据），忠实度等于支持数除以总数，Ragas 即此实现，矛盾句单独统计更严格；对比法——与金标答案比对覆盖与冲突（缺漏率、冲突率）；引用验证法——答案带引用编号时检查引用真实存在且内容支持该句（可自动化）。注意区分维度：忠实（有据）不等于事实正确（上下文本身错则答案跟着错，需外部事实校验），也不等于完整（该答没答）。除评估外，线上降幻觉手段是检索质量、提示约束（只依据上下文、允许说不知道）、引用机制与低温度。能讲原子断言拆解法与三层区分即优秀。