mysql数据实时同步到elasticsearch

elasticsearch

要求

  • 全量数据同步
  • 增量实时同步

关注指标

  • 数据丢失
  • 消息延迟

方案

方案一

使用elasticsearch-jdbc，独立的第三方工具

通过SQL语句进行全量和增量同步

Elasticsearch-JDBC暂时还不支持Elasticsearch 5.0
https://github.com/jprante/elasticsearch-jdbc/issues/915

https://github.com/jprante/elasticsearch-jdbc/tree/master

方案二

logstash-jdbc，logstash官方插件

通过SQL语句进行全量和增量同步

https://www.elastic.co/blog/logstash-jdbc-input-plugin

方案三

go-mysql-elasticsearch第三方开源项目

通过同步Mysql的binlog日志进行增量同步

https://github.com/siddontang/go-mysql-elasticsearch

参考

同步 MySQL 数据到 Elasticsearch

elasticsearch-jdbc实现MySQL同步到ElasticSearch深入详解

MySQL到Elasticsearch的同步之路

INSERT INTO LOGSTASH SELECT DATA FROM DATABASE

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容