程序员如何转型为大数据工程师?

那什么叫大数据?

指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

随着大数据的爆发,中国IT业内环境也将面临新一轮的洗牌,不仅是企业,更是从业人员转型可遇而不可求的机遇。

中关村,被称为中国硅谷,此间程序员比比皆是。然而一眼望去,大多数一线程序员的年龄均在20至30岁左右,40、50岁的人在这个行业内颇为罕见。相较于国外五六十岁仍奋斗在一线岗位的老程序员,国内为什么会出现这种现象?

国内四五十岁的程序员去哪儿了?

造成这种现象的原因是多方面的。首先,程序员的工作大致可划分为两类:开发和研发,相对应的岗位则是开发工程师和研发工程师。开发工程师直接为产品贡献代码,以达成产品功能为主要目的,有比较多重复性工作。而研发工程师则更注重研究工作,任务目标一般没有前车之鉴,多数情况下要靠自身研究创新。

在国内,大多数大型互联网公司的程序员被称作研发工程师,但实际情况是国内几乎没有研发项目,只能称之为开发。开发程序员的工作大多是重复性劳动,容易产生疲惫感,薪资也许在工作2-5年内能达到一个峰值,但较难提升,导致很多程序员最终放弃写代码,转行做了其他。

此外,程序员多处于长时间加班、熬夜和超负荷的工作状态,而年纪大的程序员往往在体力上疏于年轻人。若想继续在IT行业内打拼的程序员便只能追求成为更高技术水平的架构师或转至管理层这两方面寻求职业生涯的突破。一旦转型失败,也只能黯然退出这个为之奉献青春的行业了。一个行业内没有老员工,这其实是病态的。雷军曾在自己的一篇文章中提到,96年时美国主力工程师以30、40岁为主,国内开发的主力是35岁以下的年轻人,近20年过去,情况仍然没有转变。

但是越来越多的IT从业者发现,大数据技术来临之后也许这个现象就能有所改变。

大数据时代,程序员的春天?

首先,大数据从事的是开源工作,更倾向于“研发”,能够重新激起程序员研发程序的热情,职业生涯有了新的追求,这意味着大数据会成为值得程序员长期奋斗不断突破的工作;其次,由于大数据属新兴领域,专业人才比较缺乏,高端人才更是企业争抢的对象。薪资上升容易,职业发展潜力巨大。

《华尔街日报》称:数据已经成为一种新的经济资产类别,就像黄金和货币一样!鉴于大数据巨大的商业价值,大数据专家在企业非常受重视,阿里巴巴集团就已设立首席数据官岗位(ChiefDataOfficer),直接向集团CEO汇报工作。

在大数据行业内生存的时间越久,其经验也会越得到肯定,这也是大多数资深IT人士猜测大数据或将带来50、60岁的“老”专家的原因。面对如此光明而诱人的前景,很多IT从业者试图向大数据转型。

随着大数据的爆发,中国IT业内环境也将面临新一轮的洗牌,不仅是企业,更是从业人员转型可遇而不可求的机遇。如果将IT人士统一比作一条船上的海员,大数据就是最大的浪潮,借浪潮之势而为之,可成功从IT程序员转型成为大数据专家。

世界正从IT时代走向DT时代,未来是大数据的时代,企业最有价值的资产就是数据,你所拥有的数据越多你就越有说话权,因此未来企业里最牛逼的员工应该是和数据有关的职位,比如CDO(首席数据官)、数据科学家、数据分析师、数据工程师等,这些职位或将成为程序员又一个美好的出路。

首先我们来理解一下这几个职位。

CDO主要负责利用数据推进企业与社会的对话,挖掘企业海量数据中潜在的价值,并运营和管理好数据,为企业战略、营销和管理决策提供参考,CDO的能力不仅仅是大数据领域的范畴,他需要同时具有IT、市场营销、运营管理等综合素质。

“数据科学家是指运用统计分析、机器学习、分布式处理等技术,从大数据中提取出对业务有意义的信息,以简单易懂的形式传达给决策者,并创造出新的数据运用服务的人才。

数据分析师能洞悉一个方程式的商业意义,他们知道如何提出正确的问题,非常善于数据分析,数据可视化和数据呈现。

数据工程师是能运行基本数据模型,充分了解文件系统,分布式计算与大型数据库,他们是能提供可建模数据所需平台的人。“【以上三个职位的定义来源于互联网】

如何转型为大数据工程师?

那么,程序员如何转型成为优秀的大数据工程师呢?广州中星信息老师认为,主要是从两者所要求的能力上来分析。首先,大数据工程师是需要有计算机编码能力的,因为面对海量的非结构化数据,你要从中挖掘出有价值的东西,需要设计算法与编写程序去实现,而程序员最牛的能力就是编写简洁高效的代码,去实现人们许许多多美妙的梦想,编码能力越强的程序员越有可能成为优秀的大数据工程师。

其次,大数据工程师需要统计学与应用数学相关的能力背景,数据挖掘与分析是需要设计数据模型和算法的,应该说程序员是有这个基础的,我见过最牛逼的程序员一般都不是科班出来的,通常是数学专业,因此提高算法设计能力是程序员转型大数据工程师的关键因素。

第三,大数据工程师需要具备某一行业的业务知识,大数据的挖掘与分析最终都要服务于市场,并对产品的销售与企业的发展起到重大推动作用,那才是有价值的大数据分析,因此大数据是不能脱离市场的,它必须与某一行业的应用想结合起来才容易产生更大的价值,通常程序员都是在做某一行业的软件,经过多年的学习与磨练,对某一行业的业务知识是有积累的,因此从来这一点上来看,程序员是很容易过渡到大数据工程师的。

当然,以上都只是粗略的分析,真正要成为一名优秀的大数据工程师,程序员还需要更多的学习与努力。

在美国,大数据工程师平均年薪达17.5万美元,在中国顶尖的互联网公司里,大数据工程师的薪酬比同级别的其他职位高出30%以上。DT时代来得太突然了,国内发展势头很猛,而大数据相关的人才却非常地有限,在未来若干年内都会是供不应求的状况。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,390评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,821评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,632评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,170评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,033评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,098评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,511评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,204评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,479评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,572评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,341评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,213评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,576评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,893评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,171评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,486评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,676评论 2 335

推荐阅读更多精彩内容

  • 50=1? 数学老师看到一定会大跌眼镜,给你一个大大的叉号。 语文老师一定会开动脑筋从修辞和主题方面给你分析分析:...
    时慧慧爱物阅读 420评论 2 1
  • 文/依云 01 《丛林赤子心》,这是一部没有对白的以动物为题材的电影。 一只明星狗benji在一个暴风雨的夜晚被海...
    依云绽放阅读 309评论 0 3
  • 列表解析是python总要的语法糖,列表解析的速度比for in 迭代快 基础语法 等价代码如下: 带条件的类表解...
    Shun2018阅读 683评论 0 0
  • 我年芳几何?刚满三十。工资薪津如何?全靠出卖八小时的时间为主,工作力度?只是颈椎有问题而已。工作态度,还真不好说,...
    蝉翼呵呵阅读 217评论 0 4
  • 在15年,我上了大学,第一次离家这么久,差不多半年多了。其中放国庆这样的长假也没回过家,而是直接过广州去我妈那里。...
    扑朔m1离阅读 223评论 14 0