【读书笔记】巧说《大数据》

《大数据》徐子沛著 广西师范大学出版社 2012年七月第一版

一、前言

 随着大数据时代真真正正地来临,无处不在的大数据对如今的生活产生了巨大的影响。2015年大数据这个词更是被炒的火热,连各种讲座,也因冠上了“大数据”的名号而被广泛宣传。而大数据究竟是什么呢?它是怎样存在于我们的生活。读过《大数据》这本书,或许才有了一点了解。

  大三寒假放假前在图书馆看到了这本书,想到15年秋招有学长被某司面试官问到你眼中的“大数据”是怎样的?借到了这本书,寒假时家里的环境太过温馨,所以并没有读这本书,收假后,又重新续借。这才正式看《大数据》,不由得为了自己的懒癌找了个大大的借口。最终利用三天课余时间看完了全书。

二、这本书讲了什么

  这本书以美国多半个世纪信息开放、技术创新的历史,利用一些经典的案例来阐述究竟什么是大数据?它在现实中以怎样的形式存在,起到了什么作用。其中包括:奥巴马建设“前所未有的开放政府”的雄心、公开财政透明的曲折、《数据质量法》背后的隐情、全民医改法案的波澜、统一身份证的百年纠结、街头警察的创新传奇、美国矿难的悲情历史、商务智能的前世今生、数据开放运动的全球星期,以及云计算、Facebook和推特等社交媒体、Web3.0与下一代互联网的未来图景等,数据创新给公民、政府、社会带来的种种挑战。

  全书虽以美国为主体,但也反观中国的现实问题。

  大数据之所以产生,是因为今天无处不在的传感器和微处理器。使用机械或电子设备都会留下数据痕迹,这些痕迹表明了他的性能、位置或状态。这些设备和使用它们的人,通过互联网互相交流,形成了庞大的数据源。这些数据源和其他来源的数据相结合后被使用,形成了大数据。

   要抓住大数据的机遇,必须要做到以下几点:从技术角度来说,需要收集并且开发特定的工具,来管理大规模并行服务器产生的结构化和非结构化数据,(这些数据可能是自己专有的,也可能来源于"云")当然有了数据,还得需要分析,那么分析软件就是用来挖掘数据的意义。

三、大数据起到了哪些重要的作用

1、奥巴马上任第一天签署的总统备忘案《透明和开放的政府》,其中讲到

(1)政府应该是透明的。政府将根据法律和政策,采取适当地措施,以便公众查询、获取的方式发布信息,各部门要利用现代信息技术,将日常工作和决策的相关信息上网公示,以便公众获取。各行政部门和机构还应征求公众的反馈,以确定哪些信息对公众最有价值。

(2)政府应该是参与性的。政府需要从集体的智慧和信息中受益,各部门要就如何增加和改善公众参与政府决策这个问题,广泛征求公众的建议。

(3)政府应该是多方协作的。各行政部门和机构应利用新的工具、方法和系统,在各部门、各级政府之间全面协作。此外,还要与非营利组织、企业和个人进行协作。各行政部门和机构要广泛征求公众的反馈,以评估协作的效果,确定新的协作机会。

在此,奥巴马就巧妙的利用了大数据,来提高和改善政府与民众的关系,包括政务信息透明化以及办公公众参与化。

在美国200多年的历史中,作为总体开放政府的雄心,并不多见。但在开国之初,美国的建国者就对信息的作用展开了思考和辩论。《独立宣言》(托马斯、杰裴逊)、《管家法》、《信息自由法》(摩斯-信息自由法之父)等等都不同程度的提到了信息公开之类的信息,但对于公开哪部分内容以及如何公开一直有着无法解决的矛盾。

2、数据美国

1998年,联邦政府共拥有432所数据中心,专门负责各类数据的存储和维护工作。2010年,数据中心的总数跃升到2094所,翻了几倍。

1996年,联邦政府的年度IT预算是180亿美元,2010年,以及高达784亿美元,这些投资的一半以上都用在了购买存储数据的硬件设备上。

数据的存储单位

   最小数据集在美国演变成一个一般性的概念,它指代国家的管理层面针对某个业务管理领域强制手机的数据指标,对于养老院的管理,美国国会规定,每个养老院必须提交一系列关于老人健康指标的最小数据集给州政府的医疗管理部门,该部门汇总后,再提交联邦政府的管理部门。

  这样的话,对于老人就能更好的被服务。

 数据的生命力,甚至比程序更持久,程序可以不断地升级、换代甚至退出使用,但保存数据的数据库会继续存在,其价值很可能与日俱增、历久弥新。

   美国建立的“交通事故死亡报告分析系统”,随着数据多年的积累,根据数据分析的结果,不断进行调整,制定新的政策,新政策实施,再进行数据收集,进行新一轮评估,周而复始,再根据结果,进行全国推广。使得全国车祸出事率大大降低。

其通过:

(1)数据收集:建立收集网络,保证数据质量

(2)数据分析:确定存在问题、研究新的政策、评估政策绩效

(3)数据分布:接受社会监督、鼓励民间接入、推动政策复制、调动政策竞争

3、大数据战略将争夺世界下一个前沿

   之所以要称之为战略,是因为“大数据”之“大”,并不仅仅在于其“容量之大”,数据的收集、保存、维护以及共享等任务,都将成为具有研究意义的现象和挑战。更多的意义在于:人类可以分析和使用的数据在大量增加,通过这些数据的交换、整合和分析,人类可以发现新的知识,创造新的价值。

提取>存储>分析>共享>可视化

4、航班延误分析系统

   近几年来,在中国,因为航班延误产生的各种纠纷常常成为热点话题,美国当然也会存在航班延误的情况,但缺很少有冲突类似的情况。Data.gov上线后,美国交通部开放全美航班起飞、到达、延误的数据,程序员利用该数据开发了一个航班延误分析系统,该系统向全社会免费开放,任何人都可以查询全国各次航班的延误率以及机场等候时间,因其简单、实用取得了极好的效果。

该系统公布这些数据起到的作用:

(1)帮消费者找到表现最佳、最符合自己需要的航班。

(2)最大程度上降低了旅客等待时间的不确定性

(3)有利用推动航空市场的良性竞争。

四、总结

    大数据在美国的各种应用起到的效果,可以看出数据在当今社会的重要性。我国庞大的人口,也需要大数据来快速的分析、总结。为大家的生活,工作,以及政府的发展都会带来巨大的好处。当然,这也不是一时能够完成的,希望能够在此多投入资金,把大数据利用起来。


一只大三产品狗

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,711评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,079评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,194评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,089评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,197评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,306评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,338评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,119评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,541评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,846评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,014评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,694评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,322评论 3 318
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,026评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,257评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,863评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,895评论 2 351

推荐阅读更多精彩内容