2018年大数据的发展趋势

如今,大数据的发展趋势正在迅速转变,但专家预计机器学习、预测分析、物联网、边缘计算将在未来几年对大数据项目产生重大影响。


大数据已不再只是一个流行术语。调研机构Forrester公司的研究人员发现,在2016年,将近40%的企业正在实施和扩展大数据技术的应用,另外30%的企业计划在未来一年内采用大数据。同样,来自NewVantage Partners的“2016年大数据执行调查”发现,62.5%的企业现在至少有一个大数据项目投入使用,只有5.4%的企业没有计划或没有实施大数据项目。

研究人员表示,大数据技术的采用不会很快放缓。根据调研机构IDC公司预测,大数据和业务分析市场将从2018年的1301亿美元增长到2020年的2030多亿美元。

很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习扣群:458345782,有大量干货(零基础以及进阶的经典实战)分享给大家,并且有清华大学毕业的资深大数据讲师给大家免费授课,给大家分享目前国内最完整的大数据高端实战实用学习流程体系

“数据的可用性、新一代技术以及向数据驱动型决策的文化转型将继续推动企业对大数据和分析技术和服务的需求。”IDC公司分析和信息管理集团副总裁Dan Vesset说,“2015年的全球大数据市场收入达到1220亿美元,2016年的市场收入增长11.3%,预计到2020年大数据市场收入的复合年均增长率将达到11.7%。”


虽然大数据市场将会增长,但企业对如何使用他们的大数据却不那么清楚。新的大数据技术正在进入市场,而一些老旧技术的使用也在不断增长。

 

大数据的发展趋势


真正掌握大数据趋势就像试图监控风向的每日变化一样,只要感觉到风向,它就会改变。然而,以下趋势明显地推动了大数据的发展。


1.大数据和开源


Apache Hadoop、Spark和其他开源应用程序已经成为大数据技术空间的主流,而且这种趋势似乎可能会持续下去。一项调查发现,近60%的企业预计到今年年底将采用Hadoop集群投入生产。根据调研机构Forrester公司的报告,Hadoop的使用量每年增长32.9%。


专家表示,到2017年,许多企业将扩大对Hadoop和NoSQL技术的使用,并寻找加快大数据处理的途径。许多人寻求能够让他们实时访问和响应数据的技术。


Hadoop就是开源大数据项目的一个很好的例子。


2.内存技术


内存技术是企业正在研究加速大数据处理的技术之一。在传统数据库中,数据存储在配备有硬盘驱动器或固态驱动器(SSD)的存储系统中。而内存技术可以将数据存储在RAM中,并且存取速度要快很多倍。Forrester 公司的一份报告预测,内存数据结构市场规模每年将增长29.2%。


目前有几家不同的供应商提供内存数据库技术,特别是SAP、IBM、Pivotal公司。


3.机器学习


随着大数据分析能力的进步,一些企业已经开始投资机器学习(ML)。机器学习是人工智能的一个分支,其重点在于允许计算机在没有明确编程的情况下学习新事物。换句话说,它分析现有的大数据存储库来得出改变应用程序行为的结论。


根据Gartner公司的研究,机器学习是2017年十大战略技术趋势之一。报告指出,当今最先进的机器学习和人工智能系统正在超越传统的基于规则的算法,以创建理解、学习、预测,以及潜在地自主操作系统。


机器学习在当前的大数据技术中扮演着重要的角色

4.预测分析


预测分析与机器学习密切相关。实际上,机器学习系统经常为预测分析软件提供引擎。在大数据分析的早期,企业正在回顾他们的数据,看看发生了什么,然后他们开始使用分析工具来调查为什么发生这些事情。而预测分析则更进一步,可以使用大数据分析来预测未来会发生什么。


根据普华永道公司在2016年的研究调查,使用预测分析技术的企业数量很低,只有29%。然而,最近有很多供应商提供了预测分析工具,因此随着企业越来越多地了解这个强大工具,这个数字可能会在未来几年飙升。


5.大数据智能应用程序


企业使用机器学习和人工智能技术的另一种方式是创建智能应用程序。这些应用程序通常包含大数据分析,分析用户以前的行为,以提供个性化和更好的服务。现在人们非常熟悉的一个例子是当前推动许多电子商务和娱乐应用程序的推荐引擎。


在2017年排名前十的战略技术趋势中,名列Gartner公司的报告中第二位的技术是智能应用程序。“在接下来的十年中,几乎所有的应用程序和服务都将包含一定程度的人工智能。”Gartner研究员副总裁David Cearley说,“这将形成一个长期的趋势,将不断发展和扩大人工智能和机器学习应用程序和服务的应用。”


6.智能安全


许多企业也将大数据分析纳入其安全战略中。组织的安全日志数据提供了有关过去的网络攻击的宝贵信息,企业可以使用这些信息来预测、预防和减轻未来的攻击。因此,一些组织正在将其安全信息和事件管理(SIEM)软件与Hadoop等大数据平台进行整合。其他公司正在转向采用安全厂商提供的服务,其产品包含大数据分析功能。


7.物联网


物联网也可能对大数据产生相当大的影响。根据IDC 公司2016年9月的一份调查报告,“接受调查的企业中有31.4%推出了物联网解决方案,另外43%的企业希望在未来的一年内进行部署。”


随着所有这些新设备和应用程序的上线运行,企业将会体验到比以往更快的数据增长。许多企业需要新的技术和系统,以便能够处理和理解来自物联网部署的大量数据。

物联网收集的数据洪流将会增加对大数据应用的需求


8.边缘计算


一种可以帮助企业处理物联网大数据的新技术是边缘计算。在边缘计算中,大数据分析与物联网设备和传感器非常接近,而不是在数据中心或云端。对于企业来说,这提供了一些重要的好处。他们的网络数据流量较少,可以提高性能,并节省云计算成本。它允许组织删除只在有限的时间内具有价值的物联网数据,减少存储和基础设施成本。边缘计算还可以加快分析过程,使决策者能够比以前更快地采取行动。

 

9.高薪


对于IT员工来说,大数据分析的增长可能意味着对拥有大数据技能的人员的高需求和高薪酬。根据IDC公司的调查,仅在美国,2018年就会有181,000个深层次的分析职位,而在许多需要相关数据管理和解释技能的职位中,这个数字将是其五倍。


由于这种稀缺性,Robert Half 技术公司调查表明,数据科学家的平均薪酬在2017年提高了6.5%,其年薪为116,000美元到163,500美元。同样,大数据工程师也将增加5.8%的薪酬,其年薪为135,000美元到196,000美元。


10.自助服务


随着聘请行业专家的成本不断上升,许多组织可能正在寻找工具,让普通工作人员能够满足他们自己的大数据分析需求。IDC公司此前曾预测,可视化数据发现工具的增长速度将比商业智能(BI)市场的增长速度快2.5倍,到2018年,对推动终端用户自助服务的投资将成为所有企业的需求。


一些供应商已经推出了具有“自助服务”功能的大数据分析工具,专家预计这一趋势将持续到2018年及以后。随着大数据分析越来越融入到企业各个部门的人员工作中,IT部门可能会越来越少地参与到这个过程中。

很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习扣群:458345782,有大量干货(零基础以及进阶的经典实战)分享给大家,并且有清华大学毕业的资深大数据讲师给大家免费授课,给大家分享目前国内最完整的大数据高端实战实用学习流程体系

(来源:企业网D1Net)

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,907评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,987评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,298评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,586评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,633评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,488评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,275评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,176评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,619评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,819评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,932评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,655评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,265评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,871评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,994评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,095评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,884评论 2 354

推荐阅读更多精彩内容