年薪50万都招不来大数据开发工程师?

从2010年至今,大数据投资热潮与大数据岗位开始集中爆发。从360指数我们可以看出,目前大数据在市场的热度远远高于前几年特别火的产品经理。

大数据之火热,以致身边很多人对于大数据相关热门趋势及词汇都能随口就来。但如果问他大数据和他之间的关系,却很难能说出一二三来。

究其原因,大家置身于大数据环境下,耳濡目染各种新的概念,但是真正参与实践大数据的案例少之又少,造成了对大数据整体认知的缺失。

下面讲讲大数据行业不同角色对大数据的观点,希望能够还原出来一个较为全面的认识,了解不同角色对大数据的需求背景。

大数据开发

2010开始,大数据成为了分布式技术框架的别名,Hadoop开始频繁进入大家眼中,从此以后,hive,spark,flink等分布式计算框架如雨后春笋进入大家的开发工作环境中(当然大数据的薪资也开始水涨船高,远远高于其他同类开发)。

那么在大数据开发的眼中,大数据应该是长这样的:

第一:数据体量巨大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T);

第二:数据类型繁多。比如,网络日志、视频、图片、地理位置信息等等;

第三:需要不同的框架解决不同的问题。


在大数据开发眼里,大数据是一堆框架的集合。

数据分析及算法工程师

随着大数据技术的发展,传统基于关系型数据库的BI底层逐步被大数据替代。

数据采集全面进入线上化,公司开始全量采集线上数据,全量存储用户行为数据作为分析数据源。传统的基于抽样的统计方式逐步被全量统计方式替换,原有技术框架支持不了的用户行为分析也逐步成为大数据分析场景的标准流程,基于单机的数据挖掘算法逐步被替换成分布式的机器学习和深度学习替代。

分析师和算法工程师眼里,数据又表现为如下几个方面:

第一:数据记录全面,能够分析的场景越来越多;

第二:数据价值密度很低、挖掘难度变大;

第三:单机无法解决,需要借助大数据相关工具。


在他们眼里,大数据意味着更多的场景可以被分析量化。

数据产品经理

随着工具及算法的逐步完成,基于大数据做到千人千面的推送及定价方案已经成为可能。

有一个非常经典的案例:为提高在主营产品上的赢利,亚马逊在2000年9月中旬开始了著名的差别定价实验。

亚马逊选择了68种DVD碟片进行动态定价试验,试验当中,亚马逊根据潜在客户的人口统计资料、在亚马逊的购物历史、上网行为以及上网使用的软件系统确定对这68种碟片的报价水平。例如,名为《泰特斯》(Titus)的碟片对新顾客的报价为22.74美元,而对那些对该碟片表现出兴趣的老顾客的报价则为26.24美元。

通过这一定价策略,亚马逊提高了销售的毛利率。在此我们不考虑这个定价策略是否妥当,但是大数据技术的确已经验证可以为企业带来更多的收益。

产品经理眼里,我们发现了另外一种大数据的看法:

大数据意味着更好的产品优化及产品收益已经成为可能,至于具体的技术细节和算法,并不是他们关注的点。

当然,除了如上三个岗位,其实还有很多大数据相关的配套岗位,他们对大数据亦有各自的理解。

但是如果作为一个企业落地大数据项,我们唯一需要综合考虑的是如何在最低投入的情况下,保证长期与短期效益的均衡,举个例子来说:

1、 如果过分重于技术,会导致技术费用投入过大, 成本急剧放大

2、 如果过分重于分析,缺乏有效产品整合的话,可能牺牲长期效应

3、 过分重于产品的话,投入较长的时间产品化,可能牺牲短期收益

为了平衡三个岗位偏差造成的需求差异,大数据架构师、数据科学家相关岗位应运而生。

与传统商业智能领域类似,大数据架构师及数据科学家需要解决的核心问题还是如何构建一套稳定高效的大数据技术组件下的数据仓库。

我从落地的多个企业级大数据项目总结出,设计一个高效可靠的数据仓库会成为一个企业大数据项目成败的最关键因素

对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解

想学习的同学欢迎加入大数据学习qq群:458345782,有大量干货(零基础以及进阶的经典实战)分享给大家

并且有清华大学毕业的资深大数据讲师给大家免费授课,给大家分享目前国内最完整的大数据高端实战实用学习流程体系 。


©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,233评论 6 495
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,357评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,831评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,313评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,417评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,470评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,482评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,265评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,708评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,997评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,176评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,827评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,503评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,150评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,391评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,034评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,063评论 2 352

推荐阅读更多精彩内容

  • 什么是大数据?不要再举例说啤酒和尿布的例子了,Gartner的分析师Doug Laney在讲解大数据案例时提到过8...
    晨硕杂谈阅读 4,527评论 0 16
  • 在我很小的时候,就是在年龄还是一位数的时候,总是和他一块窝在沙发上或者床上看电视。 我们好像永远都在看电视。 从以...
    soihamiyun阅读 341评论 0 0
  • 目录 下一章:第二章 改编话剧 第一章 蝶甬伊始 满是爬山虎缭绕的墙壁上,是岁月留下的痕迹。 她用手拂开这些在夜色...
    打呼的蕾蕾阅读 682评论 2 6
  • 我很欣赏自己的好客,热情,大方。 老公的弟弟弟媳来我家里,我出去买了啤酒,买饭,还买了饮料雪碧,热情的招待他们吃饭...
    水玲珑英子阅读 214评论 0 2
  • 天鹰会按照我的心意找到白宇的行踪。 果然几分钟之后,我看见了他不知道骑了谁的摩托车正在马路上疾驰,他依然穿着白色的...
    独杨阅读 625评论 1 8