目录
1、利用Binlog和Kafka实时同步mysql数据到Elasticsearch(一) - 开启Binlog日志
2、利用Binlog和Kafka实时同步mysql数据到Elasticsearch(二) - 安装并运行Kafka
3、利用Binlog和Kafka实时同步mysql数据到Elasticsearch(三) - Binlog日志生产消息到Kafka
4、利用Binlog和Kafka实时同步mysql数据到Elasticsearch(四) - 消费Kafka消息同步数据到ES
前言
- 项目模块
BinlogMiddleware
1、binlog中间件，负责解析binlog，把变动的数据以json形式发送到kafka队列。
KafkaMiddleware
2、kafka中间件，负责消费kafka队列中的Message，把数据写入Elasticsearch中。
- 基础服务
（1）Mysql
（2）Kafka（用于存放mysql变动消息，存放于Kafka队列）
（3）Elasticsearch
- 项目源码
码云：https://gitee.com/OrgXxxx/SyncMysqlToElasticsearch
（1）下载Kafka，解压并进入文件夹。
下载地址：https://www.apache.org/dyn/closer.cgi?path=/kafka/2.1.0/kafka_2.11-2.1.0.tgz
> tar -xzf kafka_2.11-2.1.0.tgz
cd kafka_2.11-2.1.0
（2）启动Zookeeper服务。
前端启动：
./bin/zookeeper-server-start.sh config/zookeeper.properties
后台启动：
./bin/zookeeper-server-start.sh config/zookeeper.properties &
（3）启动Kafka服务。
前端启动：
./bin/kafka-server-start.sh config/server.properties
后台启动：
./bin/kafka-server-start.sh config/server.properties &
