Data visualization的技术在国外正如火如荼的发展, 比如Tableau,Domo他们旨在为公司提供更好的数据分析服务,让公司做出更好的决策(Business Intelligence). 在国内也不少公司正在向这一方向的服务发展。到底什么是data visualization,为什么我们需要数据可视化呢?
什么是可视化(visualization)
Webster 字典中visualization的定义如下。
Vi.su.al.i.za.tion [1]
1.Formation of mental visual images
2.The act or process of interpreting in visual terms or of putting into visible form.
简单的说我们可以把可视化理解成是一个:将抽象的科学或者商业数据.用图像表示出来.帮助理解数据的意义的过程。它通常会在进行数据分析(data analysis)的过程中大量的使用。
为什么要进行数据可视化
1.我们利用视觉获取的信息量,远远比别的感官要多的多。
回顾一下,正常人有简单的五觉: 视觉,听觉,嗅觉,触觉,味觉(用来抓小三的第六感不在这边文章的考虑范畴)。下面是用个一个图标来表示各个感官对信息量的接受的差别.
可以看出来,视觉的对信息的接收量比剩下的四种感观信息的接收量的总和还要多。
2.它能够帮助分析的人对数据有更全面的认识。(咋一听好抽像!)
我们可以用一个经典的例子去理解这句话. F. J. Anscombe 在1973年在他的一篇论文 "Graphs in Statistical Analysis"[3]中分析散点图(scatter plot)和线性回归(linear regression)的关系里面提到图像表示对数据分析的重要性。他用了下面这个例子:
看下面四组数据 I, II, III, IV.
对4组数据进行简单的数据分析, 每组数据有两个变量 X 和 Y,然后我们用常用的统计算法去评估四组数据的特点
Means(平均值): X = 9 Y = 7.5
Variance(总体方差): X = 11Y = 4.122
Correlation(关联) x-y: 0.816
Linear regression(线性回归方程): Y = 3.0 + 0.5X
咋一看你会觉得,好像所有的数据貌似都是一个特点。一样的平均值,方差,线性回归方程。如果只是根绝这些数据去做简单的判断的话,得出来的结论是一样的。
但是,如果我们用简单的data visualization去分析这些数据,得到的结果确完全不一样!。
第一租数据图告诉我们,x 和 y 有week linear relation。
第二组数据图告诉我们, x 和 y 有curve regression relation。
第三组数据图告诉我们, x 和 y 有strong linear relation 而且还有一个异常点。
第四组数据图可以看书横坐标数据集中在一起,而且也有一个异常值。
我们用了简单的图表对比以后,就会发现实际上这些在用图像表示出来后,有完全不一样的故事。
3.人类大脑在记忆能力的限制。
实际上我们在观察物体的时候,我们大脑和计算机一样有长期的记忆(memory 硬盘)和短期的记忆(cache 内存)。只有我们让要记下文字,诗歌,物体,一遍一遍的在短期记忆了出现之后, 它们才可能进入长期记忆。
短期记忆的问题是通常情况下,我们的大脑只能记录三个场景(学术上称为三个memory block).读者可以自己做一个实验,拿三张图片,看一遍之后回顾图片上的内容。然后再拿四张不同的图片,看一遍之后再回顾上面的内容。可能在回顾四张图片的时候就会出现有些图片没法很好的回想起来(我自己试了一下还蛮准的)。data visualization就是尽量用图形的方式把所有的数据集中在一个图像上,这样我们的大脑就只需要记住一个场景(一个memory block). 这样便于我们进行分析。
很多研究已近表明,在进行理解和学习的任务的时候,图文一起能够帮助读者更好的了解所要学习的内容, 图像更容易理解,更有趣,也更容易让人们记住[2]
[1 ]http://www.merriam-webster.com/dictionary/visualization
[2] Hockley, W.E. The picture superiority effect in associative recognition. Memory and Cognition 36 (2009), 1351-1359.
[3]Anscombe, Francis J. "Graphs in statistical analysis."The American Statistician27.1 (1973): 17-21.