浅谈数据分析中的暗物质

编辑:光环大数据 来源: 互联网 时间: 2018-02-11 17:31 阅读:

  我们分析数据,更重要的是看到数据中所隐藏的暗物质,即数据图中你看不见的数据/逻辑/知识。

  开门见山,以下是某新闻媒体WAP/APP/PC三端的分周中和周末的PV曲线,下面尝试分析其中是否存在某种规律。

  1.数据的准确性和代表性

  在分析数据之前,有一个非常重要的事情,大家往往会忽略,那就是数据的置信度是多少。

  如果数据的准确性本身存在问题,那能产出正确结果的概率与买彩票中奖的概率大概相差无几。即便数据是准确地,那还得证明数据具有代表性,你是不是只抽取了一天的数据,你是不是只抽取了一端的数据。

  自然,很多时候,你必须要进行抽样,那你更要谨慎了,因素那么多,你要保证自己在数据采样过程中,考虑了应该考虑的因素。当然,这些数据对于这个结论很具有代表性,对于另一个分析目的却有可能完全没有代表性,这些都不能一概而论。

  总之,数据准确性这个问题基本上要在分析之前给出确定的答案。而数据是否具有代表性这个问题由于比较复杂,尽可能的在分析之前考虑清楚的同时,在分析过程中,一定要随时保持着质疑精神,每向前一步,都要重新考虑数据样本是否还具有代表性。

  2.看图说话

  以下图中数据经受过了我们多方位的考验,所以数据基本准确,代表性具体要看你的分析目的。

  基本确定了准确性和代表性后,怀着高度质疑的精神,让我们开始我们的分析之旅。

  首先,单独来看每一个图,大家可以很清晰的理解,这六条PV曲线都是与用户的行为息息相关的。从各条PV曲线的变化来看,用户7:00-8:00起床的比较多,22:00是一个大家进入休息比较集中的时间点。凌晨的2:00-5:00是用户活动的低谷,而波峰在时间上一般是20:00-22:00。

  3.多项对比

  说到这里,细心的大家可能对图五/图六中的数据表示质疑。因为它不符合我们刚才推出来的规律。

  比如说,PC端一天中的波峰时间是每天的9:00-10:00,而且周一和周日的PV曲线变化非常大。 周一的数据量大周日一两倍的样子,而且周日白天的波动比较缓和,而周一的波动非常大,存在多个波峰波谷。相反,APP/WAP在周日和周一的PV总量并未出现明显变化,而且曲线变化规律也大抵相同。

  4.挖掘暗物质

  所谓暗物质,就是数据图中你看不见的数据/逻辑/知识。

  所谓的数据分析或者挖掘就是挖掘各个数据之前的关联,数据与暗物质之间的关联。

  仔细想来,我在“看图说话”中的推理其实利用了先验知识,也就是说大家有起床后看新闻和睡觉前看新闻的习惯,事实真的是这样吗?事实大概确实如此,但是在分端上可就不同了。

  APP/WAP都是移动设备上可以触及的渠道,所以基本可以与用户的起居习惯相吻合。但是PC端并非触手所及,并不能完全和用户的起居相吻合,毕竟你零碎时间里可以打开手机,却不太可能去打开电脑。

  上面我说到PC端并不能很好的反映用户的起居,那他能反映用户的什么呢。想想我们平时使用PC的场景,PC端数据是否能反映用户的上班时间特性?这点确实能给出数据支持。

  一是周一比周日PV量大,说明周末使用PC的用户少,周中上班时间就身不由己了,所以PV量比较大。周日和周一的曲线波动也完全能理解了,周一的PV的上涨时间落后于起居时间是因为那是上班时间,延迟的一小时左右要吃饭/要挤地铁啊,9:00左右(上班的集中时间点)大家都坐定了,刷一下新闻,PV量也就达到最大。

  9:00-11:00期间的PV量几乎没有太大变化,但11:00开始就开始慢慢下跌了,一直持续到12:00,这个可能与大家要逐渐去吃午饭相关,经过了12:00-14:00的午休阶段,PV量存在一定上涨。

  等到下午17:00,又开始下降了,到了18:00基本降得差不多了。大家基本都已经下班了。所以,我们可以说周日创造PV的这些用户,周中也会同样创造PV,而周一多出来的这些PV,其用户特征完全符合上班特性,或者说其特性完全符合朝九晚五的上班族。

  5.反复求证

  你的数据真的对了吗? 那我们可以说创造PC端PV波动的这些朝九晚五的用户是国企员工吗?我们可以说国企员工上班就是看看新闻,聊聊天吗?那我们是否可以说互联网员工上班就不看新闻。

  我们取得就是来看新闻的UV产生的PV数据,得出来的数据当然是这样了。互联网员工的行为是否被湮没在其他原因中了?这是我上面提到的,始终要保持质疑精神。你的数据对于之前的分析是有代表性的,可是分析以上问题,可以说是一点代表性都没有。

  有些人数据分析时已经早有结论,往往数据选择和分析时便会不自觉的有所倾向,难免会得出与自己假设相同的结论。所以我们在得出结论时,其实还要从其他很多方面进行求证,包括去掉某因素后,现象是否会消失等等。

  6.你的结论真的对了吗?

  之前朋友圈流传着这样一个消息:有权威分析机构经过数据分析发现,战狼2和疯狂动物城的票房都很高,但两者用户重合度并不高。战狼2的观看用户更喜欢喝冷饮,而疯狂动物城的用户却更喜欢奶茶。但其实疯狂动物城上映在冬季,而战狼2上映在夏季。即便经过反复求证,我们也只能说是结论的置信度越来越高了,并不能证明这是对的。所以,除了尽可能的反复求证,剩下的方法是就是进行数据驱动策略的验证了。验证可以分为对照组等等,此处不再赘述。

  7.猜猜他的用户

  如果你细心一点,便会发现newsAPP/WAP两端在周日的变动相比周一稍稍延后,这估计和大家的周末作息习惯延后有关,至于为什么延后并不多,那说明主流用户肯定不是那些“上班睡不醒,周末睡不着的”年轻人啊。

  8.写在最后

  就是这几张平时用来做实时监控的曲线还能扯出这么多东西来?来张照片给大家。

  【以下内容来自百度】中国最著名“照片泄密案”,是由1964年《中国画报》封面刊出的一张照片引起的。在这张照片中,大庆油田的“铁人”王进喜头戴大狗皮帽,身穿厚棉袄,顶着鹅毛大雪,握着钻机手柄眺望远方,在他身后散布着星星点点的高大井架。日本情报专家据此解开了中国当时最大的石油基地–大庆油田的秘密。

  1、他们根据照片上王进喜的衣着判断,只有在北纬46度至48度的区域内,冬季才有可能穿这样的衣服,因此推断大庆油田位于齐齐哈尔与哈尔滨之间。

  2、通过照片中王进喜所握手柄的架式,推断出油井的直径;

  3、从王进喜所站的钻井与背后油田间的距离和井架密度,推断出油田的大致储量和产量。有了如此多的准确情报,日本人迅速设计出适合大庆油田开采用的石油设备。当中国政府向世界各国征求开采大庆油田的设备方案时,日本人一举中标。


大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训,就选光环大数据!光环大数据,聘请专业的大数据领域知名讲师,确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术,将前沿技能融入教学中,确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式,指导学生更快的掌握技能知识,成就上万个高薪就业学子。 更多问题咨询,欢迎点击------>>>>在线客服

你可能也喜欢这些

在线客服咨询

领取资料

X
立即免费领取

请准确填写您的信息

点击领取
#第三方统计代码(模版变量) '); })();
'); })();