Storm入门(一):编程模型

前言

本文是 storm 入门第一篇,因为 Storm 的本地模式体验极其简单,
故而我希望第一篇我们先来体验一下 Storm,而不是其他分布式技术那样,
开门就是架构,简介....

1 Storm初体验之本地运行

1.1 下载 Storm Jar 包

这里我们直接用 Maven 管理,直接在我们项目的 pom.xml 文件下加入:

   <!-- https://mvnrepository.com/artifact/org.apache.storm/storm-core -->
        <dependency>
            <groupId>org.apache.storm</groupId>
            <artifactId>storm-core</artifactId>
            <version>1.2.2</version>
        </dependency>

1.2 创建 Topology

  • 什么是 Topology ?
    Storm 为了方便编程,将 Storm 的程序封装成一个个的 Topology,这个Topology 也就是我们本文的重点 编程模型。(其实质是一个 DAG 有向无环图)

  • Topology 是怎么样的?
    Topology 包含以下几个结构:

    1. 数据 Tuple:在 Storm 中,所有的数据都是以 Tuple 的形式进行传输的
    2. 数据发送者 Spout:这个数据发送只是相对 Storm 本身来说的,Spout 一般从指定的外部数据源读取数据封装成 Tuple,进行数据的发送。
    3. 数据处理组件 Bolt:Spout 的数据会发送到 Bolt,Bolt 就是用来做数据处理的组件,为了提高效率,一般 Bolt 只会处理一些单一的功能,然后会将数据继续往下一个 Bolt发送,形成一个 Bolt 链。
    4. Stream Grouping:在数据从 Spout 到 Bolt 或者 从 Bolt 到 Bolt 的时候可以指定数据的流向规则,这个规则就是 Stream Grouping。
    5. Stream 数据流:从 Spout 发出,到 Bolt 处理完形成的数据通道就是一个数据流,一个Spout 可以发送多个数据流。
  • Topology 如何创建?
    好了,现在我们正式开始编码吧...

    1. 创建 Spout:
    //继承自 BaseRichSpout 
    static class MySpout extends BaseRichSpout {
    
          private Map map;
          private TopologyContext topologyContext;
          private SpoutOutputCollector spoutOutputCollector;
    
          //初始化函数
          public void open(Map map, TopologyContext topologyContext, SpoutOutputCollector spoutOutputCollector) {
              this.map = map;
              this.topologyContext = topologyContext;
              this.spoutOutputCollector = spoutOutputCollector;
          }
    
          //模拟的外部数据
          String[] outData = new String[]{"张三", "李四", "王五"};
          String[] outData2 = new String[]{"12", "13", "22"};
    
          /**
           * 我们可以在这里来模拟从外部获取数据并发送到 bolt
           * 该函数会在 storm 运行期间被循环调用
           */
          public void nextTuple() {
              String name = outData[(int) (Math.random() * 3)];
              String age = outData2[(int) (Math.random() * 3)];
              //将数据封装到 Tuple 里面
              Values v = new Values(name,age);
              // 将数据发送出去
              spoutOutputCollector.emit(v);
    
              //休眠一下,便于观察
              try {
                  Thread.sleep(1000);
              } catch (InterruptedException e) {
                  e.printStackTrace();
              }
          }
    
          /**
           * 数据声明
           * 发送的数据,通过这里的声明 告诉下游,我这个数据是什么
           * 相当于 表中的字段名
           */
          public void declareOutputFields(OutputFieldsDeclarer outputFieldsDeclarer) {
              //这里我们发送的是  姓名 和 年龄,主要顺序不能乱
              outputFieldsDeclarer.declare(new Fields("name","age"));
          }
      }
    
    1. 创建 Bolt
      //继承自 BaseRichBolt
      static class MyBolt extends BaseRichBolt {
    
          private Map stormConf;
          private TopologyContext context;
          private OutputCollector collector;
          //初始化函数
          public void prepare(Map stormConf, TopologyContext context, OutputCollector collector) {
              this.stormConf = stormConf;
              this.context = context;
              this.collector = collector;
          }
          // 处理数据  
          public void execute(Tuple input) {
              //获取上游发送的 name 字段
              String name = input.getStringByField("name");
              //获取上游发送的 age 字段
              String age = input.getStringByField("age");
              //这里我们简单的打印一下就好
              
              System.out.println(name + "****"+age);
              // 如果你还要继续往下发送 那么:collector.emit() 就可以
          }
          
          public void declareOutputFields(OutputFieldsDeclarer declarer) {
                  //和 Spout 一样, 如果你还要继续往下发送数据,
                  // 那么你就要在这里声明的发送的数据是什么
                  // 我们这里不往下游发送,所以可以不用写
          }
      }
    
    1. 创建 Topology
      上面我们创建了 Spout 和 Bolt,那么将他们组合起来就是我们的 Topology 了
      //在主程序里面进行组装提交
      public static void main(String[] args) {
          // Topology 的构建者
          TopologyBuilder builder = new TopologyBuilder();
          // 设置 Spout ,并为其命名为 textSpout
          builder.setSpout("textSpout", new MySpout(), 3);
          //设置 Bolt,并为其命名为 MyBolt,
          builder.setBolt("MyBolt", new MyBolt(), 3)
          // 设置其 Stream Grouping 为 shuffleGrouping,并且是从 textSpout 接受数据
          .shuffleGrouping("textSpout");
          // 创建Topology
          StormTopology topology  = builder.createTopology()
          // 创建一个 本地集群
          LocalCluster localCluster = new LocalCluster();
          Config map = new Config();
          map.setNumAckers(1);
          //将 topology   提交到集群运行
          localCluster.submitTopology("test", map, topology  );
      }
    

    如果没有意外,此时运行本程序,你应该就能正常启动 Storm了,然后你在控制台就可以看到如下:


    image.png

    有没有感觉很简单?和我们平时写的本地代码基本没什么区别...

Storm 计算模型

上面我们已经体验过 Storm 的本地模式了,虽然我们的代码极其简陋,但是最少让我们了解了 Storm 的编程模型到底是怎么样的了!再怎么复杂的东西,我们也可以从上面这个简陋的代码一步步衍生出来,下面我们看一下下面这幅图


image.png

从上面我们可以看到:
一个水龙头代表一个 Spout,一个闪电代表一个 Bolt,
Spout 和 Bolt 通过 数据Tuple 的通道建立起了一条条数据流。
该图可以很好的说明 Storm 的工作模式,
通过 Spout 和 Bolt 可以构建起各种数据流以满足我们的业务需求。

你的点赞是对作者最大的支持

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,463评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,868评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,213评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,666评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,759评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,725评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,716评论 3 415
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,484评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,928评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,233评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,393评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,073评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,718评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,308评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,538评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,338评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,260评论 2 352

推荐阅读更多精彩内容