1. 概述
1.1 为什么需要消息中间件
单体架构
在单体架构中,所有的代码、模块都放在一份代码中,如果其中一个模块需要升级,哪怕只修改了一点点,整个系统也要一起升级,这样耦合度太高,同时代码管理也比较难。
分布式系统架构
到了分布式系统架构,这里现在有前台系统、订单系统、会员系统,这三个系统分别独立部署,如果需要升级某个系统,其他系统不需要进行调整。
有些请求不是一个系统就能完成的,比如当在一个页面上面同时想看会员积分和下单的信息,通过一次请求,这个请求会涉及多个系统。这种多个系统协作处理一个请求的系统,就被看作是分布式系统,当某个系统压力大时,可以对单个系统进行扩展。
这时就会用到 RPC 技术,调用远程接口的方式实现系统间的互相调用。 但是这种方式的耦合度比较高,为了实现更强的拓展性架构,所以在分布式系统中引入了消息中间件,通过消息中间件解决系统的耦合。
基于消息中间件的分布式系统架构
加入了消息中间件之后,请求发送到消息中间件,由子系统处理完成,然后再给客户端相应。消息中间件独立部署,只负责消息的转发。
1.2 什么是消息中间件
满足以下要求的工具就可以被称为消息中间件
- 利用高效可靠的数据传递机制,进行平台无关的数据交流
- 基于数据通信来进行分布式系统的集成
- 通过提供消息传递和消息队列模型,可以在分布式环境下拓展进程间的通信
1.3 消息中间件的应用场景
跨系统、跨进程的数据传递
高并发流量削峰
数据异步处理
······
1.4 常用的消息中间件
ActiveMQ、RabbitMQ、Kafka、RocketMQ
1.5 消息中间件核心
本质
一种具备接收请求、保存数据、发送数据等功能的网络应用
主要负责数据的接收和传递,所以性能一般都高于普通程序
5大核心组成
- 协议
- 持久化机制
- 消息分发机制
- 高可用设计
- 高可靠设计
2. 协议
2.1 协议是什么
协议是计算机之间通信时共同遵循的一组约定,遵循相同的约定,计算机之间才能交流。
协议是对数据格式和对交换数据时必须遵守的规则的正式描述,简单来说协议就是规则。
2.2 协议三要素
- 语法:即数据与控制信息的结构或格式
- 语义:即需要发出何种控制信息、完成何种动作及做出何种反应
- 时序:即事件实现顺序的详细说明
以 HTTP 协议为例
语法:HTTP 规定了请求报文和响应报文的具体格式
语义:客户端主动发起的操作成为请求
时许:一个请求对应一个响应
2.3 消息中间件常用的协议
OpenWire、AMQP、MQTT、Kafka、OpenMessage
思考:为什么消息中间件不直接使用 HTTP 协议?
2.4 协议介绍
2.4.1 AQMP 协议
AMQP(Advanced Message Queuing Protocol)是高级消息队列协议
04年 JpMorgan Chase(摩根大通集团)联合其他公司共同设计。
特性:
事务支持、持久化支持,出生于金融行业,在可靠性消息处理上有天然的优势。
RabbitMQ、ActiveMQ 实现了此协议
2.4.2 MQTT 协议
MQTT(Message Queuing Telemetry Teansport)消息队列遥测传输
是 IBM 开发的一个即使通讯协议,物联网系统架构中的重要组成部分。
特性:
轻量、结构简单、传输快、没有事务支持、没有持久化相关设计。
应用场景:
适用于计算能力有限、低带宽、网络不稳定的场景。
RabbitMQ、ActiveMQ 实现了此协议
2.4.3 OpenMessage 协议
OpenMessage 是近一两年由阿里发起,与雅虎、滴滴出行、Streamlio 等公司共同参与创立的分布式消息中间件、流处理领域的应用开发标准。
特性:
结构简单、解析快、有事务设计、有持久化设计
RocketMQ 实现了此协议
2.4.4 Kafka 协议
Kafka 协议是基于 TCP 的二进制协议。消息内部是通过长度来分隔,由一些基本数据类型组成。
特性:
结构简单、解析快、无事务设计、有持久化设计
Kafka 实现了此协议
3. 持久化
简单来说就是将数据存入磁盘,而不是存在内存中随服务重启而消失,使数据能够永久保存叫做持久化。
3.1 常用消息中间件支持的持久化方式
- | ActiceMQ | RabbitMQ | Kafka | RocketMQ |
---|---|---|---|---|
文件系统 | 支持 | 支持 | 支持 | 支持 |
数据库 | 支持 | / | / | / |
4. 消息分发
常用消息中间件的分发策略
- | ActiveMQ | RabbitMQ | Kafka | RocketMQ |
---|---|---|---|---|
发布订阅 | 支持 | 支持 | 支持 | 支持 |
轮询分发 | 支持 | 支持 | 支持 | / |
公平分发 | / | 支持 | 支持 | / |
重发 | 支持 | 支持 | / | 支持 |
消息拉取 | / | 支持 | 支持 | 支持 |
发布订阅:当多个系统连接到消息中间件时,通过发布订阅知道消息是要发送给谁。
轮询分发、公平分发:当有多个节点有相同的订阅,是大家公平的接收,还是通过权重计算分发的对象。
重发:当由于系统原因导致异常,消息中间件可以重发这条数据
消息拉取:消息是主动分发,还是客户端主动拉取数据
5. 高可用
高可用性,指的是产品在规定的条件和规定的时刻或时间区间内,处于可执行规定状态功能的能力。
当业务量大时,一台消息中间件服务器可能无法满足需求,所以需要消息中间件能够集群部署,来达到高可用目的。
5.1 Master-Slave 主从共享数据部署方式
和数据库主从类似,但这里是共享数据,读取同一份数据源,当一台挂了,就切换到其他服务器,但数据还是同一份
5.2 Master-Slave 主从同步部署方式
和数据库主从一样,数据库会同步到 slave 上
5.3 Broker-Cluster 多主集群同步部署方式
多个服务器可以同时接收不同消费者的请求,数据会在每个服务器上备份
5.4 Broker-Cluster 多主集群转发部署方式
服务器可以将请求转发给其他服务器,可以选择转发数据或者转发请求,若转发请求的话,则所有服务器公用同一份数据。
5.5 Master-Slave 与 Broker-Cluster 结合
同时实现负载均衡和数据的备份
6. 高可靠
高可靠性指的是系统可以无故障地持续运行。比如一个系统从来不崩溃、报错,或者崩溃、报错的几率比较低,那就是高可靠。
保证消息中间件的高可靠,可以从以下几方面考虑
- 消息传输可靠:通过协议保证系统间数据解析的正确性
- 消息存储可靠:通过持久化来保证消息的存储可靠性