大模型 API 应用

模型每步对词表输出概率分布，采样参数决定如何从中挑词。temperature 对 logits 除以 T 再归一：小于一放大高概率词更确定收敛（0 附近近似贪心，适合抽取、分类、代码与结构化输出），大于一分布拉平更发散多样（创意、头脑风暴）；top_p 核采样只保留累积概率达 p 的候选集合再随机挑，动态候选数，常设 0.9 左右；top_k 固定保留 k 个候选。max_tokens 截断输出长度防失控与控制成本。关键实践：temperature 与 top_p 通常只调其一（叠加会互相干扰）；确定性任务低温甚至 0（注意即使 0 也不保证逐字稳定，受浮点与批处理影响）；JSON 输出配合低温与结构化输出接口；客服问答温度 0.2 左右，文案生成 0.7 以上。能讲「分布整形」本质加按场景给参数即满分。

主流实现是 SSE（Server-Sent Events）流式协议：客户端发起 chat 请求带 stream 为 true，服务端逐 token 生成并立即推送 data 事件，每事件是一个 JSON 片段（含增量内容 delta 与结束标记 finish_reason），以 data 冒号 [DONE] 结束，HTTP 连接保持打开。对比非流式的价值：首字延迟从完整生成时间（数秒到数十秒）降到首 token 时间（数百毫秒），用户体验从「转圈」变「打字机」。客户端实现要点：按行解析 SSE、增量拼接 delta、处理中途断流与超时、结束时机判断（finish_reason 为 stop、length、tool_calls）；代理与网关要关闭缓冲（Nginx 的 proxy_buffering off）否则流被攒住失效。进阶：token 级流式让前端逐字渲染，也可在流式过程中输出思考过程或工具调用参数片段。能讲 SSE 协议细节与缓冲坑即优秀。

token 是模型处理文本的最小单位，大致一个汉字一到两 token、英文一词约 1.3 token，可调 tokenizer 精确计算。上下文窗口是单次请求可容纳的总 token 上限（系统提示加历史加检索内容加问题加输出都算在内），超限会报错或被静默截断头尾。长文本策略分层：输入侧——检索式截取（RAG 只取相关片段而非全文塞入）、摘要压缩（map-reduce 分段摘要再汇总）、滑动窗口保留最近对话加早期摘要、指令放头尾（长上下文中间内容注意力偏弱的 lost in the middle 现象）；输出侧——限制 max_tokens、分段生成（大纲再逐节扩写）、续写拼接；工程侧——历史消息裁剪策略（保留 system、裁剪旧轮次）、token 计数预检与分级降级模型。能讲 token 计算与三种策略即达标。

层层加固。接口层：优先用供应商的结构化输出能力（JSON mode 与 schema 约束、函数/工具的参数 schema），用受约束解码强制合法 JSON；提示层：明确给出 schema 与字段说明、提供一个完整示例（few-shot）、要求「只输出 JSON 不要多余文字与代码块标记」、temperature 调低。校验层：输出后立刻 JSON 解析加 schema 校验（jsonschema、pydantic），失败走重试并携带错误信息让模型自修复（把解析错误喂回去重试是实用技巧），多次失败降级到更保守提示或更强模型。工程层：外层包装枚举字段用英文枚举值防翻译漂移、日期与数字格式写死、避免深层嵌套（模型对深层结构易错）、大批量场景做格式通过率监控。能讲「约束解码、schema 示例、校验重试」三层即完整。

先计量再优化：按调用点埋 token 用量与单价归集成本。优化清单：模型分层路由——简单任务（分类、抽取、格式转换）走小而便宜的模型，复杂推理才用旗舰模型，用路由策略或先小后大的级联（小模型不确定再升级）；提示瘦身——系统提示精简、去掉冗余示例、历史裁剪，prompt 缓存命中可大幅折扣重复前缀（长 system 加固定知识库场景收益极大）；输出控制——限制 max_tokens、要求简洁、结构化输出减少废话；批处理接口——离线任务用 batch API 半价折扣（数小时返回）；缓存复用——相同请求的结果缓存（embedding 缓存、常见问答缓存），RAG 检索结果与 embedding 也要缓存；语义缓存相似问题命中。再叠加限流防滥用与按租户配额。能讲分层路由、缓存、batch 三板斧即优秀。