实验专家团队的带领与教育：：在进行实验组织和文化建设时，构建实验专家团队是非常必要的，实验专家团队一般要承担三方面重要的工作：1）提供理论支持，包括分流、抽样统计、实验评估指标体系、显著性判断、实验决策和分析等各个环节；2）帮助设计科学、稳定、可靠、灵活的实验平台架构、规划齐备和高效的平台功能集合；3）深入业务，为组织提供各种形式的教育和培训，全面推进实验文化的建设。
第十五章 构建想法：形成产品假设
强弱的判断就是没有依据的。基准来源主要有以下几个方面。 1）横向对比。横向对比是指和业内相同形态产品进行对比，即竞品的对比，比如快手和抖音、淘宝和京东。如果竞品的指标远高于自己产品的指标，说明还有一定上升空间。 2）纵向对比。纵向对比是指和历史水平进行对比，如果发现产品当前阶段某个指标有明显下滑，那么一方面需要数据启动归因，进行问题定位和分析，另一方面需要找到应对措施。 3）维度下钻。通过维度下钻，找到表现好的细分用户群体和领域，对表现差的用户群体进行分析，找到提升的策略。
第十六章 驗證想法
实践AB实验的过程，可以分为
实验假设：
目標性——
可歸因——实验设计时需要遵循的基本原则是，确保进行对比的两个组之间“仅存在一个变量”，即只有一个特征存在差异，以保证对实验效果进行准确归因或量化
·如果想看改变字体大小的影响，对比实验组1和对照组。 ·如果想看改变字体颜色的影响，对比实验组2和对照组。 ·如果想看同时改变字体大小和颜色的影响，对比实验组3和对照组。 ·如果想看改变字体大小的情况下，叠加改变字体颜色的影响，对比实验组1和实验组3。 ·如果想看改变字体颜色的情况下，叠加改变字体大小的影响，对比实验组2和实验组3。
实验設計
如果是静态随机抽样，实验效果可直接换算成全量。
通过动态筛选选择样本，无法把效果直接换算为全量，这是因为不具备按比例缩放的基础，进入实验的用户与剩下的用户不是同质的，也无法按比例放大。比如版本升级的时候，升级的用户往往是那些更为活跃的用户，人均活跃度、活跃时长等都高于大盘，无法按比例预估大盘的总体提升。
實驗指標設計
·结果指标，实验最终需要提升的指标，比如DAU、活跃天数、GMV、订单数、广告收入、消费时长等，用来衡量实验效果的关键指标。 ·过程指标，实现最终指标所必需的关键环节指标，比如点击率、转化率、下单率等中间影响环节。 ·保护指标，特别注意策略伴随的一些负向影响，可能会导致用户流失，比如卸载率、跳出率、系统响应时间、算法兜底率等。
實驗週期預估：
實驗運行
实验分析和理解
在进行实验评估的时候，建议采用先总后分，先主后次的思路。
浅色部分代表实验参与用户对产品的整体影响P，深色部分是实验参与用户对某功能的影响P1。对大盘的影响，需要将P转化为全体用户A的提升。
从主到次是指先看综合评价标准指标（OEC）、核心指标，再看过程指标、保护指标。OEC在第三部分已经详细介绍过，这里我们再强调一下保护指标。保护指标包含三方面，第一方面是一些保护业务的保护指标，主要是一些业务上的负向指标，比如投诉率、卸载率等；第二方面是实验数据质量指标，比如AA、SRM等；第三方面是不变量指标
实验决策