有个小伙伴在微信上问我这个问题，说他在面试中被问到如何评判产品改版后的效果这个问题，问我该如何回答，今天就来给大家拆解这道题。
题目分析
这道题主要考察求职者的数据分析能力，那些对数据不关注，只埋头画原型的小伙伴可能回答不好这个问题。
参考答案
产品的改版效果可从以下6个方面进行评估：
1、新功能有多少人使用？
一个产品功能上线后，越多人使用，越说明这个产品是成功的。当然，刚需+垄断的产品除外。
衡量指标：活跃用户比=（某段时间）活跃用户中使用过新功能用户数/(同一段时间）活跃用户总量
比例越高，代表功能越受欢迎，但使用人数的多少还会受到功能本身之外的很多因素影响，一定要结合下面说的其他指标进行综合评估，千万不能仅仅凭借这一指标来判断功能的好坏。
2、用户是否会重复使用新功能
如果新功能没有满足用户需求或者说体验比较糟糕，那往往用户使用过一次之后，便不会使用第二次。相反，如果功能既能满足用户需求，用户体验又很棒，则会经常受到用户的光顾。
衡量指标：功能的重复使用用户比例（这个指标和产品的次日留存率、7日留存率以及月留存率有点像，只不过把产品的次日留存率、7日留存率以及月留存率变成了功能的次日留存率、7日留存率以及月留存率）。
一般来说，留存率越高，代表产品功能越受用户欢迎。
3、新功能对所处的使用流程是否起到优化作用
如果新上线的功能处于某个用户使用流程中（比如下单流程，分享流程、登录/注册流程等），那么你可以评估一下该流程是否对使用流程起到优化作用。
衡量指标：对比改版前后用户流程的转化率和完成率。
比如下单流程为：搜索商品》选择商品属性》点击购买》输入密码》支付成功
改版前的输入密码，如果输入错了，没有提示用户重置密码或者再试一次，即使提示了，当用户修改密码完成以后，没有引导用户跳回之前下单页面，结果导致转化率降低，而改版后，在提示用户修改密码之后，引导用户返回之前下单页面，从而使得整个流程的转化率和完成率得到提高，那你的这个功能设计就是有用的。
4、产品的改版对用户的留存产生了哪些影响？
一般来说，如果你的产品改版比较成功，或者新增了一项优秀的功能，用户肯定对你产品的粘性更高，从而更加频繁的使用你的产品，在数据表现上，就是你的留存率变得更高。
当然，如果一个产品改版增加了多个功能，就没办法用这个单一的指标进行评判，还要结合我们上面说到的其他评判指标。
衡量数据指标：留存率（包含次日留存率：用户第一次使用产品后，第二天接着使用的人数比例；7日留存率：用户第一次使用产品后，第7天接着使用的人数比例；月留存率：用户第一次使用产品后，第30天接着使用的人数比例）
当然，这个留存率要以改版后的新增用户留存率和改版前的新增用户留存率做对比，这样的比较才有意义。
5、了解用户在怎样使用新版本的功能
新功能上线了，用户是怎么使用的？他们的使用方法是否与你预期一致？用户在使用这个功能前后，分别做了什么?(场景还原)
衡量指标：用户行为记录（通过洞察单个用户的行为记录，详细了解用户的具体用法以及场景）
用户行为数据，为我们提供了一种低成本的，便捷的观察用户行为的手段，虽然不能完全代替产品经理对用户在真实场景中的观察和研究（现场可能有一些表情、肢体动作等，这些是数据所传达不出来的），但配合使用，也可以极大的提升整体的效率和准确率。
6、收集新版本发布后的crash（崩溃）以及报错的一些数据
虽然有的时候整体数据上表现不出来明显的错误，但是一些小众机型发生错误的话，这个用户就很可能流失，所以说我们还需要去关注这些数据，如果发现一些重大错误，需要发布紧急版本去修复。
对于版本迭代的效果最好用新用户去衡量，对于已经升级的老用户来说，他本身就是忠诚用户，他的使用率和忠诚度都要优于新用户，如果用老用户衡量就很难去除老用户本身比较优质带来的偏差。
这套方法，已经被与诸葛IO合作的多个产品团队验证，被证明是一套可行的、高效的方法，大家可借鉴一下。
最后，关于这道题，你觉得该如何回答呢？可在评论区说出你的看法。
视频号推荐
参考内容：《产品经理数据分析实战手册》
也欢迎有问题的小伙伴加微信：yw5201a1沟通交流。
此外我们的官方网站也上线了，每日分享高质量的文章、原型素材和行业报告，小伙伴可自行前往索取，支持搜索，需要的小伙伴可点击底部的阅读原文直接查看，或者复制网址：www.dadaghp.com打开。
更多干货可关注微信公众号：产品刘
想学习更多关于产品、职场、心理、认知等干货，可长按右边二维码，关注我们。
··················END··················
RECOMMEND
推荐阅读
点击“阅读原文”
查看更多干货
