storm简介

Storm:Apache Storm is a free and open source distributed realtime computation (实时计算)system. Storm makes it easy to reliably process unbounded streams of data(海量数据流的可靠的处理), doing for realtime processing what Hadoop did for batch processing. Storm is simple, can be used with any programming language, and is a lot of fun to use!

Twitter开发 类似于Hadoop的实时处理框架

storm的官网 storm.apache.org

storm核心代码是由Clojure语言写的,Clojure语言既能面向对象编程,也能面向函数式编程,也是基于JVM。

Storm的应用场景

Storm has many use cases: realtime analytics(实时分析), online machine learning(在线机器学习), continuous computation(持续的计算), distributed RPC(分布式RPC), ETL(数据清洗), and more.

 Storm is fast: a benchmark(标杆) clocked(时控) it at over a million tuples processed per second per node. It is scalable(可扩展), fault-tolerant(容错), guarantees your data will be processed, and is easy to set up and operate(保证数据被处理,易于被设置和操作).

1)交通部门,监控高速路上超速车辆

2)电商网站,类似于淘宝的大屏(顺序累加)

3)京东/一号店的实时推荐(协同算法,用户标签(画像))

4)告警系统

5)金融:实时去判断交易不是欺诈行为(涉及机器学习)

6)实时监测网站有没有遭受攻击

storm实时,吞吐量小

Hadoop离线,吞吐量大

处理过程:Hadoop是Map和reduce阶段,Storm分为Spout和bolt两个阶段。

是否结束:Hadoop最终会结束,storm没有结束状态

处理速度:Hadoop处理TB级别数据,处理速度慢;Storm处理的是某一笔新增的数据即可,处理速度快。

使用场景:Hadoop使用的是批处理,主要用于不讲究时效性的项目;storm适合讲究时效性的项目。


Storm与Mapreduce1对比

MapReduce:主要用来处理高延迟的作业,主节点叫做JobTracker,从节点叫做TaskTracker;运行时作业分两种类型:Map,Reducer

Storm主要用来处理低延迟的作业,主节点叫做Nimbus,从节点叫做SuperVisor。用户提交作业给Nimbus,Nimbus把任务分配给SuperVisor,这些提交的任务叫做Topology(拓扑)。运行时作业分两种类型:Spout,bolt


Storm运送数据依靠stream(水流)

5号线地铁->stream

车厢->tuple

乘客->数据

乘客要上下车->topo任务

起始站->spout

中间站和终点站->bolt

storm处理数据过程

第一个案例:需求:求数字1-9累加和

Spout的任务:生成数字1-9并发射(emit)

bolt的任务:根据fields名称获取数字,进行累加

运行:main方法:new TopologyBulider(),setSpout,setBolt


nohup storm nimbus >  /dev/null  2>&1 &:表示将标准输出和错误输出都输出到/dev/null目录中进行回收,1表示标准输出,2表示错误与输出,默认是1:标准输出

storm的UI界面地址:host:8080

ps -ef | grep java | awk '{print $1, $2}'

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Date: Nov 17-24, 2017 1. 目的 积累Storm为主的流式大数据处理平台对实时数据处理的相关...
    一只很努力爬树的猫阅读 6,623评论 0 4
  • 原文链接Storm Tutorial 本人原创翻译,转载请注明出处 这个教程内容包含如何创建topologies及...
    quiterr阅读 5,598评论 0 6
  • 作者:王渊(2017年4月2日) 题记____ 人性就像一条小溪,在泛着清澈浪花的同时,也翻着垃圾…… 这几年...
    仁者无敌简书阅读 1,864评论 0 1
  • 图上不难发现一只脚穿了袜子,一只没有。另外一只下了出租去等候室的路上掉了,因为已经进站所以没回头找。嗨皮...
    嗨Pi麻阅读 1,589评论 0 1
  • 不知道从何时起,我开始了读书的历史,刚开始只是好奇,但当我看完人生中第一本书《鲁宾逊漂流记》后,我仿佛看到了...
    十月桂花开阅读 2,350评论 0 0

友情链接更多精彩内容