在数据分析领域,流行着这样一句话:
大胆假设,小心求证。
很多时候,一个问题来了,我们一开始并不能很快就找到分析思路。特别是当我们用常规的分析手法分析完了之后,还是没有很多的分析方向的时候;那么,这个时候千万不要放弃。我们应该要有这样一种意识,水有源树有根,天下万事万物必有原因。
既然没有分析不了的问题,那么当真没有好的分析方向的时候。我们就可以根据目前的已有数据、业界常用的分析方法以及自己对业务的理解去做假设,各种假设,什么假设都行...从而提出自己的观点,进而再去验证。
在某些极端情况下,当我们提出来的假设没有数据去验证,也就是说,我们的假设所依赖的数据压根就没有相应的数据收集起来,怎么办?是不是就算了?
不能算了。
这其实是好的一面,这即意味着说我们发现了数据收集过程的疏漏之处,我们可以现在把埋点(数据领域的术语,埋点可可以简单理解为为收集数据而做的标记)埋下去,待数据收集起来后,继续验证我们提出的假设。
总而言之,在进行数据层面的问题分析时,有条件要去分析,没有条件创造条件也要去分析,问题总归都是能分析的。
当我们提出假设后,求证的过程就不能天马行空去做了,求证的过程必须是要非常严谨的,因为这样验证得出的结果才是置信的。
在实际的生产工作过程中,我们对假设进行求证的时候,经常会用到的两种推理方法也是科学研究领域中经常使用的推理方法分别是:归纳法和演绎法。
归纳法是指从多个个别的事物中获得普遍规律,也就是从个别到一般。演绎法则与归纳相反,演绎是从普遍规律出发推到个别事物规律,也就是从一般到个别。
举个例子,黑马、白马,都可以归纳为马;反过来,马可以演绎为黑马和白马。
归纳和演绎两种推理方法是相辅相成的,演绎推理如果要以一般性知识为前提,则通常要依赖归纳推理来提供一般性知识。归纳推理也离不开演绎推理,原因主要是归纳推理依靠演绎推理来验证自己的结论;为了提高归纳推理的可靠程度,需要运用已有的理论知识,对归纳推理的个别性前提进行分析,把握其中的因果性,必然性,这就要用到演绎推理。
那么,在我们进行数据分析时,又如何运用归纳和演绎呢?
因为我们面对的数据量非常庞大,很多时候我们是没有办法去看一条一条的数据明细的;既然不能直接看全量数据,我们通常会进行抽样。
比如,一天的数据生产出来后,我们可以从每个小时的数据中抽出一定比例(根据实际数据量以及机器资源综合考虑选择不同的抽样比例,比如数据量达到十亿级,这个时候我可能会选择的比例是 1%),然后去看这些抽样数据的情况,如果已经能够看出来一定的规律,那么我们就可以认为这也是全量数据的表现。
有的业务场景,需要我们分析最近一个月的数据趋势,这个时候,我们也可以进行抽样。我们可以从月初、月中以及月末各抽取几天的数据画出一个趋势图,也就能大概看出来整体的趋势。
这些都是我们在面对庞大数据量时可以采用的归纳方法,抽样很重要。
当然,我们还可以根绝业务的一般规律,从数据中去找证据验证我们的判断,进行演绎推理。
比如,游戏行业在暑期一般都会迎来一波利好,根据往年经验,我们判断今年的收入在 7、8 两个月份会增长 15% 左右。然后我们提前进行数据埋点布局,尽可能收集好我们分析所需要的数据。
当数据收集完成后,我们就可以从我们收集来的数据上去验证我们的之前的预期是否合理。当然了,实际的业务过程,远比这个要复杂的多...
实际上,国内成规模的互联网公司都会有自己的实验平台,那些产品运营几乎每天都会在实验平台上在做着各种 A/B 实验,验证他们各种天马行空的想法。
据我了解,国内在实验 A/B 平台上做的比较领先的当属字节跳动,而他们建设实验平台的灵感就来源于 “开创以实验事实为根据并具有严密逻辑体系的近代科学,主张用实验-数学方法研究自然规律” 的伽利略。
为了纪念伽利略,字节的实验平台产品上赫然写到伽利略的那句名言:
实验是知识的唯一源泉。