《大数据相关开发笔记(4)》

1) 不能固步自封

引用某“智者”的一句话:“你签了单,还愁没人做”。确实中国人太多了,码农太多了,只不过一时半会找不到兴趣相投的战友而已。

不能因为自己,团队,公司之前没有任何经验或储备就固步自封,大数据虽然很多年了,AI也不少时间了,但是真正做好做出成绩的也是寥寥无几。再所谓资深涉足大数据5年以上的专家或团队,也不一定能够灵活掌握全部大数据的技能,工具,乃至思维。即使是自带技能包比较强大的专家,也不一定能够解决你现在的问题,需求或项目,因为没有任何一个项目是一样,所有人都需要从零开始。

同时技术的日新月异,没人敢自称专家。等你有积累了,有经验了,项目也就不存在了。等你有能力了,敢说自己是专家了,我估计也已经10-20年了。

所以活在当下,勇敢的闯一把。看看很多你身边的客户和其技术团队,还不是赶着25岁人的“砖”家做大数据,你都至少大他们10岁,就不信同样的项目你花跟他相同的时间,还不能完成跟他一样的效果???但是别忘记了,你有10年的经验,这些是你最宝贵的财富,这些是能够让你比那些25岁的“砖”家做的更“砖”的根本原因。如果他们真的在25岁的时候做的超级棒,早就去阿里了,早就去硅谷了。

2) 你是否真正涉足

不要参加过北大青鸟的培训拿个证书,或者参加过好多大数据沙龙或会议就是真正圈内人。真正的圈内人是用IT技能及分析能力解决一个数据诉求的人。你没有解决过一个只有通过数据科学分析才能发现的信息的案例,永远不要说自己懂大数据,是专家。

3) 被误导的大数据

国内的客户,往往就把大数据要求来要求去做成报表系统了。所以一定要分清真正的End User是Biz的还是Data的User。

如果你面对的是股票金融领域的分析师,虽然其不懂技术,但是他的工作是分析各类数据,各种曲线,各种对比结果,所以一个大数据工具或平台对其是有大大用处的,因为他做的是“分析”,是线性的一系列动作。

如果你面对的是天天看OA的业务分析师,那你就老老实实把最终他想要的报表准备给他就好了,另外记住:“一定要做美观一点!”。因为他做的是“看结果”,是最终态的End。

对于这类用户,你提供的是不是平台,是不是高可用,是不是运算高效,是不是可视化洞察工具,都无关紧要,因为他要的是最终结果,他要的是中国式报表。

4) 数据科学是要时间的,但同时不一定有产出的

不管上述用户是Biz的,还是Data的。如果他们都想偷懒,让你给出一个“wow”的分析结果,那你必须花费时间在高可用及高效的大数据平台上,动用108门武艺去“Discover”那些“wow”。

所以为了高效,你必须使用大数据技术和手段,因为你也不知道要分析哪些数据,被分析的数据要什么样子,只能不断试错,也就是“碰大运”。

但是往往你花费了3个月的交付时间,都不一定能够发现那个“wow”。

所以这样的项目,一定要让客户理解何为大数据,他要的是不是那个“wow”。

5) 报表的钻取不是那么简单

即使是大数据的本色演出,但是最终还是要有报表的输出,为了能够让用户发现和使用更精准的数据,常常用钻取的方式。

所以不管是最后的Fact,还是原始Operational数据,还是Informational的数据,都需要提供颗粒度高的查询接口。

但是这些不能在项目之前来设计,因为你不知道真正那个“wow”是用怎样的方式展示,也不知道“wow”是什么样子呢。

所以要技术手段,要较高的业务分析能力,在“wow”被发现后,那个user明确要的visualization之后,再去提供针对性的接口提供钻取。

6) 中国式报表

中国式的报表不仅仅是“超脱”二维或三维结果,更关键的是“UE/UX”,或者更被一般的非Data领域的销售所误解。你要多美观,数据内容多丰富,界面多炫彩和互动的dashboard,而忽略了数据的本质和信息的输出本质是协助人更进一步了解原始数据,并且进行下一步数据分析。这样的UE/UX就已经封冻的Move Forward的动力。

这也是很多开源报表工具,乃至国外大型BI工具在国内用不好,没市场,还是要囤码农自行开发那些Web报表UI,一个接一个的做UI的关键原因。

老外知道BI的工具是协助其“Move Forward”的,而不是“End”。

7) 数据分级使用是必须的。

如同我之前做的几个项目,原始数据到最终目标使用,都必须经过多次“Staging”的环节。在必要的冗余前提下,提供针对性的有限范围的数据使用。

例如从分布式业务系统,到ODS,再到EDW,而后是Data Mart或Data Lake。

例如报表必须从原始数据,到Stage表系的增量,再到History表系的全量数据,之后是ETL表系的数据智能分析过程,再最后到BI及Reporting需要的Fact层。

所以大数据也需要这样,无关乎接入的数据是结构化数据,还是NoSQL数据,都必须经历至少一个Stage,最好其靠近机构化的存储或媒介的。这样方便在其上进行数据预处理和控制好最后的数据提交。

另外根据数据使用的诉求,应用,用户,场景,必须冗余,不要千篇一律的全部应用,分析,接出等等,均在一个核心全量历史数据库上。不仅仅是单点的问题或性能问题,更关键每个消费者其均会将其业务诉求注入到这个唯一的数据模型上。

8) 数据的管道化处理

数据处理的过程是数据流动的过程,这也就是数据流技术的关键。所以“流”就必须在“管道”中。如何设计管道和数据流转的控制,需要按照不同的项目仔细设计。

同时不要局限于工具,经验,或手段。关键是理清处理的思路和要素。


9) DataOps

大数据平台或AI数据应用系统上,一个关键的IT工作就是DataOps。但是由于其技术的复杂度远远超过DevOps,更关键的是,最终的End User是谁往往都很难搞清楚,所以如何提升自动化,并且将IT管理规则注入Ops之中,很难。索性还不如手工,因为本身数据就大嘛,慢慢来呗。




©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,384评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,845评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,148评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,640评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,731评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,712评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,703评论 3 415
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,473评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,915评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,227评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,384评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,063评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,706评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,302评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,531评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,321评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,248评论 2 352

推荐阅读更多精彩内容