A/B 实验

分七步。第一步明确假设与指标，写出「若改动 X 则主指标 Y 提升，因为 Z」。第二步确定主指标、护栏指标（不能恶化的底线指标如崩溃率、退款率）与观察窗口。 第三步计算样本量，根据基线转化率、最小可检测提升和显著性水平估算所需样本与实验时长。第四步正确分流，按用户 ID 随机哈希分组，保证同一用户分组稳定、组间无泄漏。 第五步上线并做 A/A 验证与数据健康检查。第六步分析结果，看显著性、分群异质性。第七步决策与复盘，全量、迭代或放弃，并沉淀实验结论。 最常见的败因是没有假设、样本不足就下结论。

统计显著性用 P 值衡量，P 值是假设改动实际无效时，观察到当前差异乃至更大差异的概率，通常 P 小于 0.05 认为差异不太可能是随机波动，即显著。 样本量不够时存在两类错误：把无效当有效的第一类错误，和把有效当无效的第二类错误。小样本下随机波动大，组间差异很容易被噪声放大或掩盖，今天看是正提升、明天就翻车。 正式做法是事前功效分析：给定基线率、预期提升幅度（如从 5% 提到 5.5%）、显著性水平与统计功效（常用 0.8），计算所需样本量，实验跑满再判定。 强调「先算样本量再开实验」是面试关键点。

五个要点。一是分流单位与体验单位一致，按用户 ID 而不是请求或会话分流，保证同一用户始终看到同一版本，避免体验交叉污染。 二是使用稳定的哈希加盐算法（用户 ID 加实验 ID），用户重启后分组不变。三是检查组间均衡性，对比两组的用户属性分布（渠道、平台、新老比例），不均衡说明分流有偏差。 四是防止组间干扰与泄漏，社交类产品的网络效应、内部员工账号混入都会污染对照。五是做 A/A 测试验证体系本身无偏，以及确认埋点上报无丢失。 分流错了，后面所有统计都失去意义。

这通常是新奇效应（Novelty Effect）。老用户对新改动有探索性好奇，短期内点击和活跃被临时抬高，新鲜感消退后回归真实水平，甚至低于原值。 处理方法：一是拉长观察窗口，看新奇效应消退后的稳态差异，通常覆盖 1 到 2 个完整使用周期；二是分群分析，新用户没有新奇效应，若新用户持续正向而老用户先高后低，就能确认； 三是按用户使用时长分层，重度用户消退更快。除新奇效应外，还要排除季节因素（周末效应）和学习效应（用户逐渐学会使用新功能导致先低后高）。 结论要以稳态而非峰值做决策依据。

分三步处理。第一步确认真实性，检查该分群差异是否显著、样本是否足够，避免把随机波动过度解读（多重比较问题：分群看多了必然有异常）。 第二步评估业务影响，量化分群恶化的规模与主指标提升的规模对比，计算净效应，同时判断该分群是否是战略人群（如高价值用户或新用户）。 第三步决策：若分群伤害可接受且可解释，可以全量并针对该分群做定向兜底（保留旧版本入口或补一个专项实验）；若伤害核心人群，不全量，改为针对性设计迭代后再测。 大原则是不为了平均数的提升牺牲结构性健康。