1,简单介绍与服务安装
1.1,背景
在分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多.
那么,消息中间件性能究竟哪家强?
带着这个疑问,我们中间件测试组对常见的三类消息产品(Kafka、RabbitMQ、RocketMQ)做了性能比较。
1.2,三大常用消息中间件
- Kafka是LinkedIn开源的分布式发布-订阅消息系统,目前归属于Apache定级项目。Kafka主要特点是基于Pull的模式来处理消息消费,追求高吞吐量,一开始的目的就是用于日志收集和传输。0.8版本开始支持复制,不支持事务,对消息的重复、丢失、错误没有严格要求,适合产生大量数据的互联网服务的数据收集业务。
- RabbitMQ是使用Erlang语言开发的开源消息队列系统,基于AMQP协议来实现。AMQP的主要特征是面向消息、队列、路由(包括点对点和发布/订阅)、可靠性、安全。AMQP协议更多用在企业系统内,对数据一致性、稳定性和可靠性要求很高的场景,对性能和吞吐量的要求还在其次。
- RocketMQ是阿里开源的消息中间件,它是纯Java开发,具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。RocketMQ思路起源于Kafka,但并不是Kafka的一个Copy,它对消息的可靠传输及事务性做了优化,目前在阿里集团被广泛应用于交易、充值、流计算、消息推送、日志流式处理、binglog分发等场景。
1.3,三大常用消息中间件的对比结果
在同步发送场景中,三个消息中间件的表现区分明显:
- Kafka的吞吐量高达17.3w/s,不愧是高吞吐量消息中间件的行业老大。这主要取决于它的队列模式保证了写磁盘的过程是线性IO。此时broker磁盘IO已达瓶颈。
- RocketMQ也表现不俗,吞吐量在11.6w/s,磁盘IO %util已接近100%。RocketMQ的消息写入内存后即返回ack,由单独的线程专门做刷盘的操作,所有的消息均是顺序写文件。
- RabbitMQ的吞吐量5.95w/s,CPU资源消耗较高。它支持AMQP协议,实现非常重量级,为了保证消息的可靠性在吞吐量上做了取舍。我们还做了RabbitMQ在消息持久化场景下的性能测试,吞吐量在2.6w/s左右。
1.4,三大常用消息中间件的测试结论
在服务端处理同步发送的性能上,Kafka>RocketMQ>RabbitMQ。
1.5,安装
Ubuntu环境下安装RabbitMQ
apt-get install rabbitmq-server备注:以上对比分析,摘自阿里中间件团队
Kafka、RabbitMQ、RocketMQ消息中间件的对比 —— 消息发送性能
http://jm.taobao.org/2016/04/01/kafka-vs-rabbitmq-vs-rocketmq-message-send-performance/
2, 服务的启动与关闭
- 服务的启动与关闭
service rabbitmq-server stop/start/status/restart - 启动服务
rabbitmq-server –detached - 关闭服务
rabbitmqctl stop
3,服务的状态查看
查看rabbitmq-server的状态
rabbitmqctl status队列信息,Queueinfoitem可以为:name, durable,auto_delete,arguments,messages_ready,messages_unacknowledged,messages,consumers,memory
rabbitmqctl list_queues [-p vhostpath] [queueinfoitem ...]Exchange信息,Exchangeinfoitem有:name ,type,durable,auto_delete,internal,arguments
rabbitmqctl list_exchanges [-p vhostpath][exchangeinfoitem ...]Binding信息,Bindinginfoitem有:source_name,source_kind,destination_name,destination_kind,routing_key,arguments
rabbitmqctl list_bindings [-p vhostpath][bindinginfoitem ...]Connection信息,Connectioninfoitem有:recv_oct,recv_cnt,send_oct,send_cnt,send_pend等
rabbitmqctl list_connections [connectioninfoitem ...]Channel信息,Channelinfoitem有consumer_count,messages_unacknowledged,messages_uncommitted,acks_uncommitted,messages_unconfirmed,prefetch_count,client_flow_blocked
rabbitmqctl list_channels [channelinfoitem ...]
4,Web管理工具
rabbitmqctl是rabbitmq自带的一个cli式的管理命令。尽管挺好用的,但是不够直观。
rabbitmq还自带了一个web管理工具rabbitmq_management,默认没有开启,需要手动开启。
rabbitmq-plugins enable rabbitmq_management
service rabbitmq-server restart
用浏览器打开http://192.168.1.89:15672/
默认账号guest,密码guest
5,高级配置管理
5.1,插件管理
- 开启某个插件
rabbitmq-plugins enable xxx - 关闭某个插件
rabbitmq-plugins disable xxx - 注意:重启服务器后生效。
5.2,virtual_host管理
- 新建virtual_host
rabbitmqctl add_vhost xxx - 撤销virtual_host
rabbitmqctl delete_vhost xxx
5.3,用户管理
- 新建用户
rabbitmqctl add_user xxx pwd - 删除用户
rabbitmqctl delete_user xxx - 改密码
rabbimqctl change_password {username} {newpassword} - 设置用户角色,Tag可以为administrator, monitoring, management
rabbitmqctl set_user_tags {username} {tag ...}
5.4,权限管理
- 权限设置
set_permissions [-p vhostpath] {user} {conf} {write} {read}
** Vhostpath Vhost路径
** user 用户名
** Conf 一个正则表达式match哪些配置资源能够被该用户访问。
** Write 一个正则表达式match哪些配置资源能够被该用户读。
** Read 一个正则表达式match哪些配置资源能够被该用户访问。
6,参考页面
rabbitmq安装、配置与管理
http://blog.csdn.net/huoyunshen88/article/details/33738393rabbitmqctl manual page
http://www.rabbitmq.com/man/rabbitmqctl.1.man.html高可用笔记(4)rabbitmq
https://yq.aliyun.com/articles/68656