数据分析中,数据的来源是非常重要的,可是在我们得到了数据集之后,这些表格和文件,到底都代表了什么呢?
数据到底是什么
数据表示了不同个体的信息,这些信息通过不同变量的来描述一个个个体。这个个体,可能是一个人、一辆车,也有可能是一个项目,而不同的变量,可以理解成描述这些个体的指标。
一个人,我们可以收集到高度,体重,性别等等变量,一辆车,我们可以收集到颜色、型号、品牌等变量。比如 NBA 官网上,就保存了许多关于球员的信息,相关的变量包括身高、体重、国籍、球队、上场时间等等。数据集(data set)则包含了多个个体,这些通常通过表格的方式来显示,在 NBA 的例子中,可以理解为一个球队的所有人的数据,就是一个数据集。
变量可以分为两类,计量数据(Quantitative Data)和计数数据(Categorical Data)。在球员数据中,年龄、体重和身高就是计量数据,而种族、性别和所在球队就是计数数据,或者可以理解成,分类数据(我其实更喜欢这个翻译)。
计数数据有时候会用0和1来记录,以表示是和否。这种数据的数值并不会直接反应实际情况,这只是一种编码(Dummy Codes),没有任何数学上的意义,也就是说,将这些数字进行算术运算的加减乘除大多数情况下是没有意义的。
数据集的每一条数据,通常都需要一个唯一值来区分具体的行或者说具体的个体,这个值就好像是一条数据的身份证号码,通过这个值可以定位到具体的行,序列号也是一种常用的标注方式。
仅仅看表格的话,数据之间大同小异,不同的数据集并没有太大的区别,但是实际上,真正有区别的是它们所反应出的信息,以及我们所提出的研究问题、研究对象和研究方法,以及我们通过什么方式来获得数据,一旦有了数据之后,统计分析的流程大都是类似的。
提出你的问题
对于数据集有了基本的理解,就是可以选择你自己的数据集,并提出你自己感兴趣的问题了。
最简单的问题的研究问题就是观察两件事的相关性,比如医疗记录是否和收入相关?火星坑的深度是否和直径相关?孩子与父母的关系是否与成绩有关?有一些数据集的数据量很大、也覆盖了非常多的信息,尤其是在存在大量数据的情况下,会有非常多的值得探索的东西。
在确定之后,要根据你所提出的问题,在 Code Book 中找到涉及到的变量。有一项很重要的工作就是,要建立你自己的Code Book。
我们选定 NESARC 数据集,想研究的问题是尼古丁依赖。我们想知道尼古丁依赖是否和吸烟有关?也想知道,要吸多少烟才会产生尼古丁依赖?
在Code Book 中,可以找到很多跟尼古丁依赖相关的变量,比如尼古丁依赖史和过去12个月的尼古丁依赖情况、吸烟的频率、和吸烟的数据量等等。
在找到这些变量之后,一件非常重要的工作就是,要选出你需要的变量并做出你自己的 Code Book,因为原来的Code Book 中信息太多了,对于在分析中的变量,我们会经常查阅相关的信息,提前整理出来,会节约我们很多时间。
相关文章:
参考资料: