数据分析常见思维(二)

在数据分析领域,流行着这样一句话:

大胆假设,小心求证。

很多时候,一个问题来了,我们一开始并不能很快就找到分析思路。特别是当我们用常规的分析手法分析完了之后,还是没有很多的分析方向的时候;那么,这个时候千万不要放弃。我们应该要有这样一种意识,水有源树有根,天下万事万物必有原因。

既然没有分析不了的问题,那么当真没有好的分析方向的时候。我们就可以根据目前的已有数据、业界常用的分析方法以及自己对业务的理解去做假设,各种假设,什么假设都行...从而提出自己的观点,进而再去验证。

在某些极端情况下,当我们提出来的假设没有数据去验证,也就是说,我们的假设所依赖的数据压根就没有相应的数据收集起来,怎么办?是不是就算了?

不能算了。

这其实是好的一面,这即意味着说我们发现了数据收集过程的疏漏之处,我们可以现在把埋点(数据领域的术语,埋点可可以简单理解为为收集数据而做的标记)埋下去,待数据收集起来后,继续验证我们提出的假设。

总而言之,在进行数据层面的问题分析时,有条件要去分析,没有条件创造条件也要去分析,问题总归都是能分析的。

当我们提出假设后,求证的过程就不能天马行空去做了,求证的过程必须是要非常严谨的,因为这样验证得出的结果才是置信的。

在实际的生产工作过程中,我们对假设进行求证的时候,经常会用到的两种推理方法也是科学研究领域中经常使用的推理方法分别是:归纳法和演绎法。

归纳法是指从多个个别的事物中获得普遍规律,也就是从个别到一般。演绎法则与归纳相反,演绎是从普遍规律出发推到个别事物规律,也就是从一般到个别。

举个例子,黑马、白马,都可以归纳为马;反过来,马可以演绎为黑马和白马。

归纳和演绎两种推理方法是相辅相成的,演绎推理如果要以一般性知识为前提,则通常要依赖归纳推理来提供一般性知识。归纳推理也离不开演绎推理,原因主要是归纳推理依靠演绎推理来验证自己的结论;为了提高归纳推理的可靠程度,需要运用已有的理论知识,对归纳推理的个别性前提进行分析,把握其中的因果性,必然性,这就要用到演绎推理。

那么,在我们进行数据分析时,又如何运用归纳和演绎呢?

因为我们面对的数据量非常庞大,很多时候我们是没有办法去看一条一条的数据明细的;既然不能直接看全量数据,我们通常会进行抽样。

比如,一天的数据生产出来后,我们可以从每个小时的数据中抽出一定比例(根据实际数据量以及机器资源综合考虑选择不同的抽样比例,比如数据量达到十亿级,这个时候我可能会选择的比例是 1%),然后去看这些抽样数据的情况,如果已经能够看出来一定的规律,那么我们就可以认为这也是全量数据的表现。

有的业务场景,需要我们分析最近一个月的数据趋势,这个时候,我们也可以进行抽样。我们可以从月初、月中以及月末各抽取几天的数据画出一个趋势图,也就能大概看出来整体的趋势。

这些都是我们在面对庞大数据量时可以采用的归纳方法,抽样很重要。

当然,我们还可以根绝业务的一般规律,从数据中去找证据验证我们的判断,进行演绎推理。

比如,游戏行业在暑期一般都会迎来一波利好,根据往年经验,我们判断今年的收入在 7、8 两个月份会增长 15% 左右。然后我们提前进行数据埋点布局,尽可能收集好我们分析所需要的数据。

当数据收集完成后,我们就可以从我们收集来的数据上去验证我们的之前的预期是否合理。当然了,实际的业务过程,远比这个要复杂的多...

实际上,国内成规模的互联网公司都会有自己的实验平台,那些产品运营几乎每天都会在实验平台上在做着各种 A/B 实验,验证他们各种天马行空的想法。

据我了解,国内在实验 A/B 平台上做的比较领先的当属字节跳动,而他们建设实验平台的灵感就来源于 “开创以实验事实为根据并具有严密逻辑体系的近代科学,主张用实验-数学方法研究自然规律” 的伽利略。

为了纪念伽利略,字节的实验平台产品上赫然写到伽利略的那句名言:

实验是知识的唯一源泉。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,539评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,594评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,871评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,963评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,984评论 6 393
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,763评论 1 307
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,468评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,357评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,850评论 1 317
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,002评论 3 338
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,144评论 1 351
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,823评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,483评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,026评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,150评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,415评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,092评论 2 355

推荐阅读更多精彩内容