“没有平行宇宙，只能靠A/B测试”，火山引擎详解四大实验价值

如何评估一个决策是否有效?比如在暑假前，运营团队做了一波活动，声势非常浩大，到了暑假开始的时候，用户活跃度大幅上升，这个提升是运营活动带来的吗?

4月20日火山引擎技术开放日上，字节跳动副总裁杨震原在演讲中表示：真正的完美解决方案是什么?得靠平行宇宙了。当前时空是这个状态，做了一波操作;时间退回去，没有做这个事情。我们再来看这两个平行宇宙的差别是什么，就是这个操作所带来的。

“但是我们没办法做平行宇宙的实验，就只能做A/B测试了”。杨震原认为，A/B测试看上去好像效率很低，非常复杂，要分组，还要看因素是不是剥离干净了。但是当你真正把一个事情搞清楚以后，就可以一个台阶一个台阶往上走。如果你搞不清楚，做得很快，有可能今天上一个台阶，明天下一个台阶，后天上一个台阶，不能保证一直在前进，这是非常大的差别。

目前，字节跳动的A/B测试能力已经通过火山引擎开放给企业客户。火山引擎数据应用产品负责人张锦波对A/B测试产品能力、亮点以及最佳实践等进行了大量分享，并且特别介绍了A/B测试能够给企业客户带来的四大关键价值：提活促留、业务创新、收益提升、管理提效。

据介绍，A/B测试核心作用就是通过不同方案测试，为达成某个目标寻求更优方案。因此，它首要功能就是能够促进产品体验的优化，从而实现提升用户活跃度和留存。其具体实现这一目标的方法包含推送实验、可视化实验、多链接实验，以进行精细化运营、提活促留。

其次，在产品发展过程中，产品经理可以通过A/B测试进行前端UI交互优化、功能迭代、后端算法模型优化，各种各样的实验，去持续降低创新成本，激发创新潜能，提升产品的核心价值。

第三，在支付环节，通过A/B测试，可以提升支付这个临门一脚的转化率。第四是降本增效、管理提效。在业务管理过程中，A/B测试可以帮助业务负责人，独立衡量团队对业务的贡献度和业绩。同时，运用火山引擎的可视化能力，几分钟就上线一个实验，可减少一线研发人员资源投入，可实现快速创新和降低试错成本。

此外，火山引擎的FeatureFlag功能开关可以帮助企业降低管理和协同成本，严控上线风险，非常有利于项目管理。

张锦波用一个案例介绍说，字节跳动内部某个垂类社区发现了新老用户留存率不一样、新用户流失率比较高的问题，于是针对7日流失新用户做推送实验，最终实现了新用户3日留存提升了11。更进一步的，团队进行了一次个性化推荐1.0模型实验。经过一个月的实验周期，APP使用时长提升了59、APP点赞评论的渗透率提升了81。

A/B测试作为字节跳动的一项基础工具，在其日常决策中占据着重要的位置。目前，字节跳动A/B测试每日新增1500+实验，服务于400多项大大小小的业务，累计做了70多万次实验。这项工具已经实现产品化，通过火山引擎向企业客户开放。