1、怎么衡量新版本好不好？以数据为准，不以数据的结论都是耍流氓，通过判断访问频次、使用时长、流程转化率、留存率等指标来看新版本是否符合用户的预期。
如果提取全量数据会发现新版的数据都比旧版好，为什么会这样？是用户更喜欢新版吗？但事实是，直接对比全量数据的分析方法是错误的。因为新旧两个版本的用户群性质存在较大差异。
先看下面两个公式：
新版本用户池=旧版升级到新版的用户+首次下载产品的新用户
旧版本用户池=旧版升级到新版的用户+旧版未升级到新版的用户
2、通常来说，如果用户对旧版本非常满意，那是不是意味着他更有意愿升级到新版本，反之，那些对产品不怎么满意的用户就不会更新到新版本，也就是说新版本用户池会流失一部分，这就导致新旧版本数据池中有差异的两个群体，一个是中性用户——首次下载产品的新用户，另一个却是负评价用户——旧版未升级到新版的用户。这样做对比分析得到的结论自然比真实情况乐观许多。
3、因此，我们要确保参与对比的两组群体性质要一致，尽量控制住其他变量，只观察版本变量对用户的影响，比如只选择新旧版本发布初期的新用户来进行对比分析，这些用户都是首次接触产品，这样对比各项指标得到的结论就能更接近用户对产品的真实反馈。
关注微信公众号「顾林海」，一起记录所思所想
