RocketMQ 与 Spring Boot整合(二、批量发送消息)

在一些业务场景下,我们希望使用 Producer 批量发送消息,提高发送性能。在 RocketMQTemplate 中,提供了一个方法方法批量发送消息的方法。代码如下:

// RocketMQTemplate.java

public <T extends Message> SendResult syncSend(String destination, Collection<T> messages, long timeout) {
    // ... 省略具体代码实现
}
  • 通过方法参数 destination 可知,必须发送相同 Topic 的消息。
  • 要注意方法参数 messages ,每个集合的元素必须是 Spring Messaging 定义的 Message 消息。RocketMQTemplate 重载了非常多的 #syncSend(...) 方法,一定要小心哟。
  • 通过方法名可知,这个是同步批量发送消息。

有一点要注意,虽然是批量发送多条消息,但是是以所有消息加起来的大小,不能超过消息的最大大小的限制,而不是按照单条计算。所以,一次性发送的消息特别多,还是需要分批的进行批量发送。

一、快速开始

1.1 Demo02Message

创建 [Demo02Message]消息类,提供给当前示例使用。代码如下:

package com.ebadagang.springboot.rocketmq.message;

/**
 * 示例 02 的 Message 消息
 */
public class Demo02Message {

    public static final String TOPIC = "DEMO_02";

    /**
     * 编号
     */
    private Integer id;

    public Demo02Message setId(Integer id) {
        this.id = id;
        return this;
    }

    public Integer getId() {
        return id;
    }

    @Override
    public String toString() {
        return "Demo02Message{" +
                "id=" + id +
                '}';
    }

}

1.2 Demo02Producer

它会使用 RocketMQTemplate 实现批量发送消息。代码如下:

package com.ebadagang.springboot.rocketmq.producer;

import com.ebadagang.springboot.rocketmq.message.Demo02Message;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.spring.core.RocketMQTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.messaging.Message;
import org.springframework.messaging.support.MessageBuilder;
import org.springframework.stereotype.Component;

import java.util.ArrayList;
import java.util.Collection;
import java.util.List;

@Component
public class Demo02Producer {

    @Autowired
    private RocketMQTemplate rocketMQTemplate;

    public SendResult sendBatch(Collection<Integer> ids) {
        // <1>  创建多条 Demo02Message 消息
        List<Message> messages = new ArrayList<>(ids.size());
        for (Integer id : ids) {
            // 创建 Demo02Message 消息
            Demo02Message message = new Demo02Message().setId(id);
            // 构建 Spring Messaging 定义的 Message 消息
            messages.add(MessageBuilder.withPayload(message).build());
        }
        // 同步批量发送消息
        return rocketMQTemplate.syncSend(Demo02Message.TOPIC, messages, 30 * 1000L);
    }

}

注意,在 <1> 处,我们就创建了 Spring Messaging 定义的 Message 消息的数组,用于下面使用 RocketMQTemplate 批量发送消息。

1.3 Demo02Consumer

package com.ebadagang.springboot.rocketmq.consumer;

import com.ebadagang.springboot.rocketmq.message.Demo02Message;
import org.apache.rocketmq.spring.core.RocketMQListener;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Component;

@Component
//@RocketMQMessageListener(
//        topic = Demo02Message.TOPIC,
//        consumerGroup = "demo02-consumer-group-" + Demo02Message.TOPIC
//)
public class Demo02Consumer implements RocketMQListener<Demo02Message> {

    private Logger logger = LoggerFactory.getLogger(getClass());

    @Override
    public void onMessage(Demo02Message message) {
        logger.info("[onMessage][线程编号:{} 消息内容:{}]", Thread.currentThread().getId(), message);
    }

}

1.4 简单测试

创建 [Demo02ProducerTest]测试类,编写一个单元测试方法,调用 Demo02Producer 批量发送消息。代码如下:

package com.ebadagang.springboot.rocketmq.producer;

import com.ebadagang.springboot.rocketmq.Application;
import org.apache.rocketmq.client.producer.SendResult;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;

import java.util.Arrays;
import java.util.List;
import java.util.concurrent.CountDownLatch;

@RunWith(SpringRunner.class)
@SpringBootTest(classes = Application.class)
public class Demo02ProducerTest {

    private Logger logger = LoggerFactory.getLogger(getClass());

    @Autowired
    private Demo02Producer producer;

    @Test
    public void testSendBatch() throws InterruptedException {
        List<Integer> ids = Arrays.asList(1, 2, 3, 4, 5);
        SendResult result = producer.sendBatch(ids);
        logger.info("[testSendBatch][发送编号:[{}] 发送结果:[{}]]", ids, result);

        // 阻塞等待,保证消费
        new CountDownLatch(1).await();
    }

}

我们来执行 #testSendBatch() 方法,测试批量发送消息。控制台输出如下:

# Producer 批量发送5条消息成功
2020-08-04 17:10:35.808  INFO 10116 --- [           main] c.e.s.r.producer.Demo02ProducerTest      : [testSendBatch][发送编号:[[1, 2, 3, 4, 5]] 发送结果:[SendResult [sendStatus=SEND_OK, msgId=240884E30114A66731EF8A0EAAFD768A278418B4AAC213229D910002,240884E30114A66731EF8A0EAAFD768A278418B4AAC213229D910006,240884E30114A66731EF8A0EAAFD768A278418B4AAC213229D910007,240884E30114A66731EF8A0EAAFD768A278418B4AAC213229D910008,240884E30114A66731EF8A0EAAFD768A278418B4AAC213229D910009, offsetMsgId=6585E30D00002A9F0000000000033A18,6585E30D00002A9F0000000000033B2C,6585E30D00002A9F0000000000033C40,6585E30D00002A9F0000000000033D54,6585E30D00002A9F0000000000033E68, messageQueue=MessageQueue [topic=DEMO_02, brokerName=broker-a, queueId=3], queueOffset=5]]]

# 5条消息,被逐条消费
2020-08-04 17:10:35.808  INFO 10116 --- [MessageThread_8] c.e.s.rocketmq.consumer.Demo02Consumer   : [onMessage][线程编号:178 消息内容:Demo02Message{id=3}]
2020-08-04 17:10:35.808  INFO 10116 --- [MessageThread_6] c.e.s.rocketmq.consumer.Demo02Consumer   : [onMessage][线程编号:176 消息内容:Demo02Message{id=1}]
2020-08-04 17:10:35.808  INFO 10116 --- [MessageThread_7] c.e.s.rocketmq.consumer.Demo02Consumer   : [onMessage][线程编号:177 消息内容:Demo02Message{id=2}]
2020-08-04 17:10:35.823  INFO 10116 --- [essageThread_10] c.e.s.rocketmq.consumer.Demo02Consumer   : [onMessage][线程编号:180 消息内容:Demo02Message{id=5}]
2020-08-04 17:10:35.823  INFO 10116 --- [MessageThread_9] c.e.s.rocketmq.consumer.Demo02Consumer   : [onMessage][线程编号:179 消息内容:Demo02Message{id=4}]

可以看到5条消息,被 Demo02Consumer 并发消费完成。

底线


本文源代码使用 Apache License 2.0开源许可协议,这里是本文源码Gitee地址,可通过命令git clone+地址下载代码到本地,也可直接点击链接通过浏览器方式查看源代码。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,907评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,987评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,298评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,586评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,633评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,488评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,275评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,176评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,619评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,819评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,932评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,655评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,265评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,871评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,994评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,095评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,884评论 2 354