大数据框架对比

一、流式计算对比

image.png

exactly once(精确一次的理解)->effectively once(有效一次):https://ververica.cn/developers/exactly-once-2/

Flink和Spark的对比(廷珏给的链接)
https://ververica.cn/developers/big-data-computing-engine-battle/
https://ververica.cn/developers/competition-ecology-and-future/

流处理即未来

image.png

https://ververica.cn/developers/stream-processing-is-the-future/

二、github上社区活跃度对比

社区活跃度的对比不是为了追大流,只是因为咱们用的就是开源技术,如果采用技术群体的基数和活跃度不够大,那资料的查询和问题的解决会是一个头疼的问题,从技术普适性的角度来思考,也不是个好事情。


image

image.png

image.png
  • Spark2.4.3以后的版本中的structured streaming可以达到毫秒级别延时的实时计算。
  • Spark是以批处理起家,发展流处理,所以微批处理吞吐优先,可以选用。
  • 实时处理后数据准备放在哪里?如果放在mysql,数十万tps实时插mysql,mysql也受不了
  • spark streaming已然极其稳定了,flink的bug比较多。这个从github的提交删除也能看出来

三、对于实时计算,从延时和吞吐量方面来思考

备注:摘自宋博士给的论文,论文有点早,没有加入Spark Structured Streaming的考虑

延时对比:


image.png

吞吐量对比:


image.png

四、从统一解决方案的角度来考虑

Spark

Spark提供了统一的解决方案。Spark可以用于批处理、交互式查询(Spark SQL)、实时流处理(Spark Streaming)、机器学习(Spark MLlib)和图计算(GraphX)。

这些不同类型的处理都可以在同一个应用中无缝使用。这对于企业应用来说,就可使用一个平台来进行不同的工程实现,减少了人力开发和平台部署成本

image.png

引用自:https://zhuanlan.zhihu.com/p/70424613

Flink

image.png

在Flink 中,如果输入数据流是有边界的,就自然达到了批处理的效果。这样流和批的区别完全是逻辑上的,和处理实现独立,用户需要实现的逻辑也完全一样,应该是更干净的一种抽象。后续会在深入对比流计算方面的时候做更深入的讨论。

Flink 也提供了库来支持机器学习,图计算等场景。从这方面来说和 Spark 没有太大区别。

Spark 和 Flink 都瞄准了在一个执行引擎上同时支持大多数数据处理场景,也应该都能做到这一点。主要区别就在于因为架构本身的局限在一些场景会受到限制。比较突出的地方就是 Spark Streaming 的 micro batch 执行模式。Spark 社区应该也意识到了这一点,最近在持续执行模式(continuous processing)方面开始发力。

五、从结合业务的角度来考虑

咱们目前可以想到的后边可能会用到的大数据处理框架的地方:

  • MRP/LRP计算
  • 日志,异常信息,业务信息的实时处理
  • 针对于单个租户、工厂的数据分析,订单量预测,针对于多个租户、工厂的分析,单量预测。
  • 如果后期做MES,公有云MES上对接机器的数量,机器产生的实时数据,这个绝对是巨量数据,实时分析。
    咱们应该是既有bounded data,也同时有unbounded data需要处理,统一的处理框架很有必要

六、资料语言友好度方面

image.png

这个flink是完胜其他框架,毕竟是阿里推的框架,中文肯定是少不了的(不是完全中文)。

七、语言角度来考虑

Spark是用scala实现的,对于java程序员来说,如果需要深入了解底层的东西,scala肯定要学,就算不想深入了解,对于“喜欢用源码治病(源码治百病)”的同学来说也是一种痛苦。
Flink本身就是用java实现的,如果想要研究,对java程序员来说,无疑是非常方便的。
Spark和Storm的使用国内国外都有,Flink的使用主要集中在国内,不过,阿里的一顿猛推,Flink肯定在国内会有越来越多的受众。


image.png

image.png

image.png

image.png

八、从公司角度来思考

最好选用和公司未来一样的框架,这样会少不少麻烦事儿,但目前不清楚未来公司会用哪个。


image.png

打听了下,这哥们儿在招大数据工程师,招的方向是spark,但是感觉这个并没有代表性(不是集团管理或者架构部的),但也说不准。(公司如果别人都没用过,只有我们处理过,那大概率听我们的)

九、结合业务的一些“个人”思考

个人理解,其实大数据框架的出现,以及各种周围组件和中间件的出现,是为了解决以前没有办法处理的和解决的问题。比如,在大数据框架以及相关组件出现前,我要做大数据处理,但我的内存根本处理不了那么大的对象,处理完我也不好存放,存放完我也不好分析等等。
而对于我们的MRP/LRP运算来说,目前来看应该是放得下的,这可能也是为什么和大神聊天的时候,大神非常坚决的说“你们的业务不适合使用spark或者其他大数据框架来处理的原因”(个人推断)。这样说其实也是有道理的,毕竟,如果能通过单机上并行计算来解决,分布式计算的各种任务调度和分布式组件的管理,数据的shuffle等等,都是需要耗时的。单机的效率可能会更高。
但是,这个在没经过设计,以及实际论证的情况下真的不好说。

未知的世界总是充满否定和怀疑,踩过的路子总是充满匆匆的身影,仿佛那条路从一开始都是存在的。


image.png

image.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,242评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,769评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,484评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,133评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,007评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,080评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,496评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,190评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,464评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,549评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,330评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,205评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,567评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,889评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,160评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,475评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,650评论 2 335