全栈 - 6 数据 解读数据结构和类型

这是全栈数据工程师养成攻略系列教程的第六期:6 数据 解读数据结构和类型。

数据的结构

在DT时代,我们的生活中随处都会接触到各种各样的数据。以地铁数据为例,可以分为静态数据和动态数据两大类。

  • 静态数据:包括线路信息和站点信息等,例如一共有多少条线路,每条线路包含哪些站点,各个站点的名称、首末班车时间等信息。这类数据一般不包含时间戳,更新频率较低,数据量整体较少;
  • 动态数据:主要是地铁的刷卡记录,乘客在进站和出站时的刷卡操作都会产生一条刷卡记录。这类数据一般包含时间戳,用于说明数据产生的时间,并且是不断产生的。

时间戳是指从1970年1月1日0时0分0秒到某一时刻所经历的秒数。对于同一个时刻,不同的人会有不同的表述方式,即不同格式的时间文本。通过时间戳,我们可以用整数或浮点数来表示任意一个时刻,从而便于代码表示和计算。

大多数数据是以行和列的结构表示的。每一行表示一条记录,或者称为一条观测,例如在地铁线路数据里,每一行就表示一条线路的信息。每一列表示一个字段,或者称为一项属性,例如在地铁线路数据里,可能包含“线路名称”、“运营时间”、“线路颜色”等列。

因此可以用二维数组或二维表的概念来表示大多数数据,就像Excel中的表格,以及关系型数据库中的数据表等。

数据的类型

TXT 是最常见的文本数据,里面存放的是纯文本,可以记录任意内容,每行的长度是可变的,文件的总行数也是任意的,因此非常自由。

CSV 是Comma Seperated Value,即逗号分隔值。可以将CSV理解为一种文本形式表示的二维表,每一行代表一条记录,每条记录的字段数量是一致的,字段之间以逗号分隔。CSV可以包含一行表头,用于说明每个字段的名称,因此CSV和Excel中的表格、关系型数据库中的数据表都是类似的,以下就是一个简单的例子。

id,name,gender,age
1,Honlan,male,24
2,Baby,female,22

JSON 是一种非常通用的数据类型,本质上是一种键值对字符串,在前端、后端等多种场景多门语言中都可以加载使用。如果将CSV理解为Python中的二维数组即嵌套的列表,那么就可以将JSON理解为Python中的字典,以下就是一个简单的例子。

{"id": 1, "name": "Honlan", "gender": "male", "age": 24}

总的来说,TXT、CSV和JSON里存的都是文本,不同的只是文本的组织结构,以及文件命名时分别使用 .txt.csv.json 作为后缀名。

SQL 是关系型数据库文件,以最常用的 MySQL 数据库为例,MySQL中的数据库和数据表都可以导出为 .sql 文件用于数据备份,而 .sql 文件也可以导入已有的数据库和数据表中用于数据恢复。

后续章节中会介绍如何使用MAMP和WAMP在个人电脑上搭建Web环境,并详细讲解和MySQL数据库相关的内容。

视频链接:解读数据结构和类型

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,319评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,801评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,567评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,156评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,019评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,090评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,500评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,192评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,474评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,566评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,338评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,212评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,572评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,890评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,169评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,478评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,661评论 2 335

推荐阅读更多精彩内容