RAG 检索增强

RAG 把参数化记忆换成外部知识检索：离线索引阶段——文档加载与清洗、切分成块（chunking）、每块做 embedding 存入向量库（可带元数据）；在线问答阶段——用户问题同样 embedding，在向量库检索 top-k 相似块，拼接成带引用上下文的提示交给 LLM 生成答案。解决的问题：知识时效（模型训练截止后的信息）、私有领域知识（企业文档、内部规范，不在公网训练集）、幻觉抑制（有据可依、可给出来源）、成本（不微调，改文档立即生效）、权限控制（检索层做租户与密级过滤）。局限与代价：检索质量决定上限（检索不到就答不出）、上下文长度与噪声、多跳问题弱、索引更新维护成本。能画两阶段流程图并对比微调的适用差异即达标。

切分目标是在「块自含语义」与「检索粒度」间平衡。固定长度切分（按 token 数加 overlap 重叠百分之十到二十）简单通用，重叠防止关键句被拦腰截断；递归字符切分（先按段落分隔符、再句子、再字符逐级降级）尊重自然结构是默认选择；结构感知切分按 Markdown 标题层级、HTML 标签、代码函数边界切，保留标题路径作为元数据（块上下文不丢）；语义切分用 embedding 相邻句子相似度找断点，块内聚性更好但成本高；父子块与小块检索大块返回（small-to-big）兼得检索精度与上下文完整。参数经验：块 256 到 1024 token，按问题粒度调（FAQ 小块、方案文档大块）；每块带元数据（标题、来源、页码、时间、权限）供过滤与引用。反例：整篇文档一个向量（检索糊）、切太碎语义残缺。能讲三策略加元数据即优秀。

先定位再优化：用评估集测召回率（命中金标块的比率），区分「检索不到」与「拿到了但生成没用」。优化清单：查询侧——查询改写（口语化转规范、补全指代、多查询扩展、HyDE 假设文档反查）、对话历史融合成独立检索问题；索引侧——换更强的 embedding 模型（领域模型微调）、优化切分与元数据、多粒度索引、为标题与关键词建倒排（混合检索 BM25 加向量，专有名词与精确匹配靠关键词）；排序侧——加 rerank 重排（交叉编码器如 bge-reranker 对 query 与文档联合打分，比双塔准得多，先向量粗排取前五十再重排取前五）；数量与融合——top-k 调参、RRF 融合多路结果；上下文侧——去重压缩、按相关性排序放前部、引用编号对应。数据侧清洗（去广告、表格转文本、OCR 质量）常被忽视却是大头。能按链路分层给手段即满分。

双塔式向量检索（query 与文档独立编码）为了可离线建库牺牲了交互，语义泛化好但对精确词、型号、人名、代码标识符这类「字面匹配」反而弱；BM25 倒排按词频与idf 精确匹配强、可解释、零训练，但不理解同义改写。混合检索取两者之长：BM25 与向量各取 top-k，用 RRF（倒数排名融合，按名次倒数求和，无需调分数量纲）或加权融合合并，评测上普遍稳定优于单路。重排（rerank）补最后一环：粗排为了效率用简单模型在大候选集上快速筛，重排用交叉编码器（query 与文档拼接后联合编码打分，延迟高但准确），对粗排前几十名精排取前几，检索准确率显著抬升且工程上只增加一次小批量调用。整套范式是「召回宽一点、粗排快一点、精排准一点」。能讲双塔与交叉编码器的结构差异即优秀。

分层评估检索与生成。检索层指标：上下文召回率（金标块被检出的比率）、上下文精确率（检回的块有多少相关）、命中排名（MRR）；构建金标——人工标注「问题到应命中文档块」对，或用 LLM 从文档生成问题加溯源自动造数据。生成层指标（Ragas 类框架）：忠实度 faithfulness（答案是否只基于检索内容，防幻觉，可用 LLM 拆解答案句并验证有据）、答案相关性（是否回答了问题）、上下文利用率。端到端：正确性对金标答案（LLM judge 或人工）、引用准确率（引用编号真实支持该句）。工程化：评估集从真实用户问题回流持续扩充，任何改动（切分、模型、提示）跑回归对比；线上监控——无引用率、用户反馈点踩率、兜底触发率、延迟成本。能分层给指标名与数据集构建方法即完整。