你会怎样衡量你的产品? —— 一点产品数据分析的经验分享

编辑: 来源: 时间: 2018-01-29 18:35 阅读:

目标读者:涉及产品数据的新人(PM、数据分析师、产品运营)


当我刚开始在文图做产品实习生的时候,想做点数据分析,但有很多问题,不知道怎么做,比如

  • 怎样对产品做数据分析?用什么样的工具?


  • 怎么定义产品的指标 (metrics)?


  • 为什么要做数据分析?数据分析能带来什么样的价值?


于是找了不少书和资料,才做了一点微小的工作。


目前,这方面的例子并不多,所以,这里以我们的产品文图 为例,分享一点微小的经验,希望能对和我一样的新人们有所帮助,当中存在的问题也欢迎指正


注:因为商业上的一些考虑,所以对数据做了遮挡处理,希望大家可以理解


1. 产品与Metrics


(1) 文图是什么?


文图是一款用来做数据报告(下图)的产品



比如,你写了一篇数据分析报告,然后希望看起来比较专业(排版、颜色),那么可以用文图,因为有设计好的样式。另一方面,图表、表格中的数据都是可交互的,也有目录导航,对读者有较好的阅读体验。


(2) 怎么定义产品的数据指标?


产品数据分析的基本,是各项指标(metrics),当中最常用的是AARRR模型 [1],也就是把用户从访问到使用,分成了获取(Aquisition)、激活(Activiation)、留存(Retention)3个阶段(下图)



其核心指标是留存/活跃用户数,也就是希望用户能再次访问(e.g. 微信, 微博)


然而,AARRR并不适合所有产品


一个简单的例子是,Airbnb的留存肯定也很低,因为没有人会每天订房间。文图也类似,没有人会每天写报告,可能一个月一篇就不错了。因此,短期留存的意义不大, 留存/活跃用户更大程度上是产品好坏的最终反映,而非需要直接提升的指标。


所以,我们用HEART模型来定义metrics (下图,具体介绍见[2])



具体而言,是从产品本身的目的入手,更为本质。


文图的目的是帮助用户制作数据文档,在产品中由多个事件组成:文档创建 -> 编辑文档 -> 文档完成(发布/下载)。最核心的指标,是完成文档的数量,即有多少文档发布、下载了。同样的, Airbnb的核心指标之一是订床的数量, 而不是每天的活跃用户有多少。


不过,这只是对“制作者”而言。对于运营人员、数据分析师这些制作者来说, 他们最终的目的是希望“读者”能方便的阅读文档,了解数据和分析的结果,文图也因此才会有移动端阅读、分享到微信等功能。所以,只有保证读者有良好的体验,制作者才会长期的使用下去。不过,这方面并没想到好的指标。


最后,总的metrics包括


(1) 基本状况


  • 注册用户数(按周/月)


  • 活跃用户数(按周/月)


(2) 业务指标


  • 文档制作者: 创建文档 -> 编辑文档 -> 发布、下载


  • 文档读者: 暂缺


(3) 增长指标


  • aquisition 转化率: 访问 -> 注册按钮-> 注册成功


  • activiation 转化率: 注册成功 -> 创建文档 -> 编辑文档


2. 实现


设计好了metrics,怎么具体得到这些数据呢?


我们用神策(类似Mixpanel/GrowingIO),包括基本的dashboard和更复杂的事件分析



上图是我们的dashboard, 包括注册用户、文档创建等指标,每天用来了解产品的基本使用情况。


在代码实现上,用户做了相应的操作,就用js把相应的数据传输到后台进行记录(埋点),之后就可以用神策进行分析了。


比如


(1) 文档制作漏斗


可以用漏斗模型看文档制作中各个步骤的转化率(创建 -> 编辑 -> 下载/发布)



而完成文档的用户数,就是我们产品的核心用户群



这个也放在了dashboard中,可以看到,每周都会有许多用户在文图上完成了文档制作


(2) 注册成功/失败比例


对用户注册的行为做了记录(分成成功和失败),能看到产品注册成功/失败的曲线



(3) 文档类型比例


文图的文档有多种类型,包括单页-PPT-打印文档3种,这3种各占比例多少呢?我们内部几乎都是用单页文档,但看到数据,发现实际用户创建PPT的并不少,比我们预想的多多了



3. 案例:这个模板好用吗?


文图的核心功能之一,是用户可以使用模板(下图)创建文档。这些模板都是经过设计的,比单纯的Excel + Word来的要更好看。



但是,我们对模板的设计并不满意,觉得一些模板并不好看,而且,也常有用户说某个模板颜色对比不够等等


这些模板好用吗?怎么分析这个问题?


可以从文档完成率考虑 —— 用户创建文档后,经过一系列的操作,最终完成文档(发布、下载)。期间,有没有可能因为模板的不足(e.g. 颜色对比不够),而放弃呢?


各模板的创建量、完成量和完成率(完成率=完成量/创建量)如下



可以看到


  • 默认模板(blue)创建量明显高于其他模板,说明数据基本准确


  • 完成率和创建量相当不同,创建最多的并不是完成率最高的,而一些小众模板(pure)的完成率不错,说明计算基本上有效。而且这个顺序和我们主观的感知也大致相符


仔细观察完成率最后几位 (my_red, my_blue, my_green),可以发现一个共同点,都带有header. 这和一些用户的反馈相同,“自己写了个文档,结果头上顶个别人家的header, 觉得不爽 ”,也难怪写到一半就不写了



而很有意思的是,blue 和my_blue的关系(下图)



这两个模板大体相同,只是后者带了header,而完成率就有了区别。考虑到blue作为默认的模板本身会有大量的试用,其实际完成率要更高, 因此可以说,单单加上这个header,文档的完成率就会往下掉大概15% 。而去掉header, 文档完成的数量就很有可能提升。


总之,通过完成率,可以发现模板设计的好坏对文档完成有较大影响


而且,假如把所有模板的设计水平都提升到第一的水准,是近40%的提升。把这些分析结果告诉设计师,他们也就更有动力、方向做改进了,而不是简简单单的说“把模板设计得更好看”



4. 案例: 为什么产品没有增长?


仔细观察dashboard,会发现更深层次的问题



  • 注册量: 始终不变. 意味着自然流量来源没有增加,也就是说没有任何人为我们自发宣传,没有口碑传播


  • 文档创建量: 始终不变,意味着活跃用户没有增长, 否则应该逐渐积累并增加. 意味着大量的用户流失, 没有继续使用


简单来说,产品没有明显的增长,尽管这一年更新了许多功能 ,尽管每周会有许多用户在文图上完成文档制作(此处应有心碎的声音,呜呜)


为什么会这样?


可能原因之一,是文图本身的特性所致。



像上图,是典型用户的行为次数统计,可以看到3-4月第一次使用,再次使用就是8月了,而下次使用呢?这是我们的用户,但他的留存效果并不明显。Airbnb也是类似,其留存是按年计算的 [3]。


那怎么分析这个问题?


数据分析师同学们可能已经摩拳擦掌,想了很多模型、算法了。。。。。


但更好的办法是直接找到用户,问他们为什么继续使用/放弃使用,也就是用户访谈。在这里,可以分群体访谈,比如


  • 流失用户:3个月前注册并完成文档的用户,但之后没有再使用的。为什么没有再使用?是使用效果不满意,还是行为本身低频?


  • 留存用户:本月完成文档,但是在3个月之前注册的老用户。为什么持续使用?他们用来做什么?有没有可能找到更多类似的用户?他们是从哪里知道文图的?


  • 尝试但是未完成文档的用户:本月注册成功,并尝试使用(编辑文档5次以上),但最终没有完成文档的。产品在哪些方面有问题,最终没有完成文档?


5. 总结


这里,我们以自己的产品文图为例介绍了产品数据分析的一些基本的内容,包括


  • 怎样设定metrics (HEART),而不仅仅是从活跃用户数的角度去考虑


  • 怎样运用metrics分析 (模板完成率的分析,实质是定量分析)


  • 怎样不用metrics做分析(用户访谈,实质是定性分析)


不过,为什么要对产品做数据分析?


数据分析只是手段,重要的是目的


通常,我们会关心这些问题


  • 产品发展得如何,是否有增长?存在什么问题?


  • 新开发的功能反映如何?是不是起到了效果?


  • 怎么和团队沟通这些判断、分析?


用数据分析可以较好的回答这些问题,尤其在团队内部沟通的时候。


因为对产品,人们总有不同的看法/感觉,有的人觉得这样好,有的人觉得那样好。用数据交流,效果就更好一点,因为是在拿结果说话,而不是光靠感觉。更何况,大家很多时候会发现,用户的实际反馈和你的感觉并不一样。(这点对老板们也很重要,否则团队就是在满足老板的“感觉”,而不是实际的用户需求。)


但另一方面,数据分析也不是万能的,很难告诉我们“为什么”


就比如最后的例子,产品做了很多功能,为什么还是没人用呢?数据其实没有办法直接告诉我们原因,这需要采用访谈等其他方法了。


6. 学习资源


最后,介绍一些数据分析方面的学习资源,方便同学们入门


关键字:数据分析职业生涯规划、内心功法、R语言、Python数据分析、数据挖掘实战应用、电商数据分析、数据处理、Excel报表自动化、数据可视化等……


(1) 数据分析师职业规划


http://mrw.so/26YidY


(2)Python编程基础视频教程


http://mrw.so/26YidY


(3) 电商数据分析师养成记


http://mrw.so/1dFEsC


(4)R语言数据分析实战


http://mrw.so/Jf9UT


(5)Python数据分析实战


http://mrw.so/w8c3e


(6)SQL数据分析实战数据库基于MySQL


http://mrw.so/3c2HY



大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训,就选光环大数据!光环大数据,聘请专业的大数据领域知名讲师,确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术,将前沿技能融入教学中,确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式,指导学生更快的掌握技能知识,成就上万个高薪就业学子。 更多问题咨询,欢迎点击------>>>>在线客服

你可能也喜欢这些

在线客服咨询

领取资料

X
立即免费领取

请准确填写您的信息

点击领取
#第三方统计代码(模版变量) '); })();
'); })();