增长实验体系

完整体系含五层。一是想法库与漏斗：全渠道收集实验想法（数据洞察、用户反馈、竞品、直觉），统一登记。二是优先级机制：用 ICE 或 RICE 打分排序，每周评审决定本周跑什么。 三是实验执行规范：假设模板（如果做什么则什么指标变化因为什么）、样本量计算、护栏指标、观察周期等启动检查清单。四是分析决策标准：预先约定显著性门槛与决策规则，避免看结果编故事。 五是知识沉淀：实验结果归档成可检索的学习库，负面结果同样入库，避免重复踩坑。 体系成熟度不看工具多先进，而看学习速度与决策纪律。

假设的标准句式是：如果我们做 X 改动，主指标 Y 会提升 Z 幅度，因为（用户行为洞察）W。三个成分缺一不可：可执行的改动、可衡量的预期（含方向和幅度）、基于证据的机制解释。 好的例子：如果注册流程从四步合并为两步，注册完成率会从 45% 提升到 55%，因为数据显示 60% 的流失发生在第二、三步之间，而那两步的信息并非下单必需。 差的例子：优化一下注册，提升转化（无改动定义、无幅度、无机制）。写假设的价值是强迫想清楚因果链，实验失败时能知道是机制错了还是执行不到位，形成有效学习。

RICE 打分：Reach 触达用户数、Impact 对个人的影响程度、Confidence 信心、Effort 工作量，得分等于前三项乘积除以 Effort。ICE 是简化版（Impact、Confidence、Ease）。 用法：每个实验想法由产品、数据、研发共同打分，分数排序形成实验队列，每周从队首取用。打分用相对刻度并校准（例如 Impact 分五档）。 局限有三：各维度估计主观，容易乐观偏差；Ignore 了战略性与学习价值，小而快的实验永远排前面，重要的长周期投入可能被饿死；静态打分跟不上新信息。 实践上用 RICE 做初筛，再用战略权重人工校准，并保留部分名额给高风险高学习价值的实验。

不白做，不显著本身是信息。首先要区分三种情况：一是真的无差异，说明该改动对这个指标无效，省下了全量开发的资源，也修正了团队的直觉认知；二是样本不足导致功效不够，属于执行问题，考虑延长周期或提高最小可检测效应的预期再跑； 三是效果被分群稀释，整体不显著但某个子群显著，需要进一步验证（注意多重比较风险）。 学习价值上，负面结果应写入实验库：假设错了、机制不成立的边界在哪里，避免半年后有人再提同样的想法。 唯一白做的实验是没有预登记假设、事后挑数字讲故事的那种。

按 checklist 走六项检查。一是统计有效性：显著性水平、样本量是否跑满、有无偷看提前停止问题。二是护栏指标：崩溃率、退款率、投诉、卸载等无恶化，尤其长期留存类护栏需要更长窗口。 三是分群异质性：没有某类核心用户被显著伤害，网络效应或体验不一致问题是否存在。四是成本与维护：功能复杂度、服务器成本、后续运营成本是否值得这 5%。 五是策略一致性：与产品定位和长期方向是否冲突，例如弹窗拉时长式的提升要警惕。六是放量计划：灰度 5%、20%、50% 分批观察，配置好回滚开关。 全部通过才全量，并在复盘文档记录归因。