后端多环境治理的实践(二)

上一篇文章后端多环境治理的实践(一)我们介绍了什么是后端多环境治理,而且用springcloud实现了微服务调用的多环境治理。

实现了之后,我们微服务的流量调度如下图:

图片

但是mq的消费怎么办,mq的消费是没有办法做自定义的负载均衡,消费逻辑是由mq来决定的,经过mq之后,流量调度就会失效。

image.png

default版本的score和v1版本的score会随机消费mq消息。

一、公司的解决方案

先说一下,公司用的是rocketmq。

而且公司有专门的mq团队,他们对mq做了各种的魔改,其中一个魔改就是所有的mq消息者不会直接连接mq,而且经过一个mq_proxy再连接到mq。

image.png

所以公司的mq的消费可以自定义自己的路由规则。

具体实现如下:

image.png
  1. 基准消息和feature消息复用topic。生产者会根据context,在消息的header里添加env属性。

  2. 当feature consumer启动时,会在proxy根据version注册对应的filter

  3. 当feature consumer拉取消息,proxy会根据注册的filter,将对应version的消息过滤出来加到本地缓存里

  4. feature consumer拉取消息,会从proxy的本地缓存里poll消息

大家知道一下原理就好,对于一般的公司来说,不太有能力去修改mq源代码,也不太可能有专门的基建团队去打造一个mq_proxy中间件出来。

二、我的解决方案

我没有能力魔改m,也没能力造一个mq_proxy。

但是只要理解了解决方案,就能实现多环境的mq消费,只是实现的方式会low一点。

要实现mq的多环境流量调度,只要做四件事:

1、每个微服务注册启动的时候,要带上一个标记,标记自己当前的版本,消息发送时要把这个标记放到mq_message的header里面。

2、每个微服务启动的时候,要向某个地方注册一下,标记现在存在一个某个版本的消费者

3、所有的mq消费要经过统一的代理。

4、消费代理者执行如下逻辑:“如果消息的版本与本地版本相同,则本地消费,如果消息的版本与本地版本不相同,则判断是否存在对应版本的消费者,如果存在则转发给对应版本的消费者,如果不存在则本地消费”。**

image.png

三、具体代码实践

下面以rabbitmq为例子去实现多环境mq消费

最终实现效果如下:

image.png

oder-base发出的消息,user-base消费。

order-v1发出的消息,user-v1消费。

oder-v2发出的消息,user-base消费。

1、每个微服务注册启动的时候,要带上一个标记,标记自己当前的版本,消息发送时要把这个标记放到mqmessage的header里面。

上一期我们已经给每个实例标记了一个版本号,只要把这个版本号丢到mq的header里面,就能给这个message标记他的version。

图片

2、每个微服务启动的时候,要向某个地方注册一下,标记现在存在一个某个版本的消费者

这里实现的方法有很多,可以用zookeeper、redis,这里我利用rabbitmq的自动删除队列的特性,如果某个队列是自动删除队列,而且曾经有消费者连接过他,当没有消费者消费该queue时,该queue会自动删除。

所以只要我们的featrue消费者启动的时候,向rabbitmq注册某个featrue特有的queue,根据这个特性,只要我们看某条queue是否存在,就知道是否有featrue消费者存在了。

3、所有的mq消费要经过统一的代理。

公司是通过统一的proxy做的,而我则可以通过sdk的方式,自定义原生的mq消费者的方式去做mq消费者的代理。

先写一个抽象消费类

image.png

创建一个MyQueuelister去实现这个抽象类

image.png

spring容器启动的时候,找出所以继承了RabbitmqLister的bean。

然后手动注册消费者

@Slf4j
@Configuration
public class RabbitmqListerConfig implements InitializingBean{
    @Autowired
    private List<RabbitmqLister> rabbitmqListerList;
    @Autowired
    private ConnectionFactory connectionFactory;
    @Autowired
    private Environment environment;
    @Autowired
    private ApplicationContext applicationContext;
    @Override
    public void afterPropertiesSet() throws Exception {
        rabbitmqListerList.forEach(r->{
            try {
                String queueName = r.getQueueName();
                Connection connection = connectionFactory.createConnection();
                Channel channel = connection.createChannel(false);
                RabbitAdmin rabbitAdmin = applicationContext.getBean(RabbitAdmin.class);
                String version = environment.getProperty(Constont.VERSION);

                if (!StringUtils.equals(version,Constont.DEFAULT_VERSION)){
                    queueName = queueName +"-"+version;
                    Queue queue = new Queue(queueName, true, false, true);
                    rabbitAdmin.declareQueue(queue);
                }


                Consumer consumerB = new DefaultConsumer(channel){
                    @Override
                    public void handleDelivery(String consumerTag, Envelope envelope,
                                               AMQP.BasicProperties properties, byte[] body)
                            throws IOException {
                        try {
                            Map<String, Object> headers = properties.getHeaders();
                            String msgVersion = headers.get(Constont.VERSION)==null?Constont.DEFAULT_VERSION:headers.get(Constont.VERSION).toString();
                            String version = environment.getProperty(Constont.VERSION);
                            ObjectMapper objectMapper = new ObjectMapper();
                            String o = objectMapper.readValue(body, String.class);
                            if(StringUtils.equals(version,msgVersion)){
                                r.handler(o,properties);
                                channel.basicAck(envelope.getDeliveryTag(),false);
                                return;
                            }

                            String queueName = Constont.MY_QUEUE + "-" + msgVersion;
                            QueueInformation queueInfo = rabbitAdmin.getQueueInfo(queueName);
                            if (queueInfo == null || queueInfo.getConsumerCount() ==0) {
                                r.handler(o,properties);
                                channel.basicAck(envelope.getDeliveryTag(),false);
                                return;
                            }
                            channel.basicPublish("",queueName,properties,body);
                            channel.basicAck(envelope.getDeliveryTag(),false);
                        }catch (Exception e){
                            log.error("",e);
                        }
                    }
                };
                channel.basicConsume(queueName,consumerB);
            } catch (IOException e) {
               log.error("",e);
            }
        });
    }
}

4、消费代理者执行如下逻辑:“如果消息的版本与本地版本相同,则本地消费,如果消息的版本与本地版本不相同,则判断是否存在对应版本的消费者,如果存在则转发给对应版本的消费者,如果不存在则本地消费”。

通过判断是有个featrue-queue来判断是否有fetrue-cosumer,如果有则把消费投递到featrue-queue。

图片

具体代码实现细节在3里面。

image.gif

四、验证

在order服务,我们编程一个接口用来发送消息。

    @GetMapping("/sendMq")

1、打包

mvn clean install -DskipTests

2、使用docker启动rabbitmq

docker run -d --hostname my-rabbit --name rabbit -p 15672:15672 -p 5672:5672 rabbitmq:management

3、启动eureka、gateway和3个版本的order服务

nohup java -jar -Dserver.port=8761 eureka/target/eureka-0.0.1-SNAPSHOT.jar  >null 2>&1 &
nohup java -jar -Dserver.port=5000 gateway/target/gateway-0.0.1-SNAPSHOT.jar  >null 2>&1 &
nohup java -jar -Dserver.port=8001 order/target/order-0.0.1-SNAPSHOT.jar  >null 2>&1 &
nohup java -jar -Dversion=v1 -Dserver.port=8002 order/target/order-0.0.1-SNAPSHOT.jar  >null 2>&1 &
nohup java -jar -Dversion=v2 -Dserver.port=8003 order/target/order-0.0.1-SNAPSHOT.jar  >null 2>&1 &

4、开另外两个终端,去启动user服务,这里直接启动用来看日志打印。

java -jar -Dserver.port=9001 user/target/user-0.0.1-SNAPSHOT.jar
java -jar -Dversion=v1 -Dserver.port=9002 user/target/user-0.0.1-SNAPSHOT.jar

5、发送请求验证

curl --location --request GET 'localhost:5000/order/sendMq?msg=djb'

然后查看default的user服务

image.png
curl --location --request GET 'localhost:5000/order/sendMq?msg=djbv1' \

然后查看v1的user服务

image.png
curl --location --request GET 'localhost:5000/order/sendMq?msg=djbv2' \

然后查看default的user服务

image.png

五、最后

我们已经解决了后端多版本的rpc调用和mq消费调用了。

其实还有一个场景就是配置的多版本。

有些时候,我们需要defalut版本的实例和v1版本的实例使用不同的配置。

而springcloud-config是没办法完成这个需求的。

下一篇文章,我将会介绍后端多环境的情况下,怎么做到不同版本的实例使用不同版本的配置。

图片

代码地址:

关注“从零开始的it转行生”,回复“多环境”获取

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,544评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,430评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,764评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,193评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,216评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,182评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,063评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,917评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,329评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,543评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,722评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,425评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,019评论 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,671评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,825评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,729评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,614评论 2 353

推荐阅读更多精彩内容