3.10 大数据

《系统架构 设计师教程(第4版) 》希赛教育 编著

大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
1.大数据的特点
业界通常用4个V(即Volume、Variety、Value、Velocity)来概括大数据的特征。
Volume:指的是数据体量巨大,从TB级别跃升到PB级别(1PB=1024TB)、EB级别(1EB=1024PB),甚至于达到 ZB 级别(1ZB=1024EB)。截至目前,人类生产的所有印刷材料的数据量是200PB,而历史上全人类说过的所有话的数据量大约是5EB。当前,典型个人计算机硬盘的容量为TB量级,而一些大企业的数据量已经接近EB量级。
例如,在交通领域,某市交通智能化分析平台数据来自路网摄像头/传感器、公交、轨道交通、出租车以及省际客运、旅游、化危运输、停车、租车等运输行业,还有问卷调查和地理信息系统数据。4万辆车每天产生2000万条记录,交通卡刷卡记录每天1900万条,手机定位数据每天1800万条,出租车运营数据每天100万条,电子停车收费系统数据每天50万条,定期调查覆盖8万户家庭等,这些数据在体量上就达到了大数据的规模。
Variety:指的是数据类型繁多。这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据,非结构化数据越来越多,包括网络日志、音频、视频、图片、地理位置信息等,这些多类型的数据对数据的处理能力提出了更高要求。
Value:指的是价值密度低。价值密度的高低与数据总量的大小成反比。以视频为例,一部1小时的视频,在连续不间断的监控中,有用数据可能仅有1-2秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。当然把数据集成在一起,并完成“提纯”是能达到1+1大于2的效果的,这也正是大数据技术的核心价值之一。
Velocity:指的是处理速度快。这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告,预计到2020年,全球数据使用量将达到35.2ZB。在如此海量的数据面前,处理数据的效率就是企业的生命。
2.传统数据与大数据的比较
传统数据与大数据的差异如表3-13所示。


表3-13 传统数据与大数据的比较

3.大数据处理关键技术
大数据处理关键技术一般包括:大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用(大数据检索、大数据可视化、大数据应用、大数据安全等)。
4.大数据应用
大数据可以在各行各业得以应用,如金融服务、医疗保健、零售业、制造业、政府机构等。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 1 NoSQL NoSQL 即 Not Only SQL ,可直译 “ 不仅仅是 SQL” ,这项技术正在掀起一场...
    deniro阅读 250评论 0 2
  • 数据是国家基础性战略资源,是21世纪的“钻石矿”。“十三五”时期是我国全面建成小康社会的决胜阶段,是新旧动能接续转...
    江坤辰阅读 537评论 0 0
  • 我们知道网络无秘密,在网页上敲击的每一个数据,都会被自动记录。当数据的积累量足够大的时候,量变引起了质变。“大数据...
    边缘计算社区阅读 4,418评论 1 1
  • 为了一场紧急考试,没有正经系统学习过大数据知识的我开始恶补概念 涉及Hadoop、Hbase、Spark、Flin...
    偶余杭阅读 913评论 1 8
  • ​通俗讲解:未来云计算 下面读两个故事一定弄懂“云计算” 故事一 公共电网抛弃了爱迪生 爱迪生的牛气无法言说,这辈...
    柴玉宾阅读 492评论 0 0