Neo4j与ElasticSearch数据同步
针对节点删除，加了一些逻辑，代码地址
背景
需要强大的检索功能，所有需要被查询的数据都在neo4j。
方案
- 在Server逻辑中直接编写。后端有一个
Storage类。当有新数据通过RestAPI存入Neo4j时，同时存一份到ElasticSearch - 编写Neo4j插件。Neo4j本身不支持Trigger。但是可以通过插件实现类似功能
方案的选择采用第二种，原因有二
- 集中式的数据同步处理，比分散式上层逻辑数据同步处理 稳定性和可维护性更高
- Neo4j开源仓储提供了Neo4j-ElasticSearch插件，虽然不满足我们的需求，但是可以为编写代码提供极大的参考。
插件试用
实验环境： Ubuntu16.04 Docker 17.12.1-ce （由于采用Docker，环境对实验影响不大）
实验环境搭建
- 下载最近版本(3.2.x)的Jar包
wget https://github.com/neo4j-contrib/neo4j-elasticsearch/releases/download/3.2.3/neo4j-elasticsearch-3.2.3.jar
- 启动ES容器，该插件用的Jest 2.0.2版本。但是我们使用ElasticSearch2.3也没什么问题
docker run -p 9200:9200 -d --name es elasticsearch:2.3
- 启动neo4j容器， 并挂载磁盘
docker run -p 7474:7474 -p 7687:7687 -v /home/bonsai/Demo/conf:/var/lib/neo4j/conf -v /home/bonsai/Demo/plugins:/var/lib/neo4j/plugins --name neo -d --link es:es neo4j:3.2.3
- cp插件到plugins文件夹
cp neo4j-elasticsearch-3.2.3.jar /home/bonsai/Demo/plugins
- 增加配置
vim /home/bonsai/Demo/conf/neo4j.conf
elasticsearch.host_name=http://es:9200
elasticsearch.index_spec=people:Person(first_name,last_name), places:Place(name)
- 去除默认密码修改限制
docker exec neo /bin/bash -c "echo 'neo4j:SHA-256,BC43474518A71BA7BEB54461F769A76195226474BFE892FF2562211DFD8043FA,B6070629C73CE74455674D39D65BA3DF:' > data/dbms/auth"
- 重启Neo4j容器
docker restart neo
- 验证neo4j成功加载配置
docker exec neo cat /var/lib/neo4j/logs/debug.log | grep elastic
成功加载配置
功能使用
在Neo4j-ElasticSearch插件中，引用了index_spec这个配置。具体实现细节下节分析。试用的时候只要知道我们定义了
elasticsearch.index_spec=people:Person(first_name,last_name), places:Place(name)
表示会将Person标签的Node的first_name与last_name属性存入ES people索引中，会将Place标签的Node的name属性存入ES places索引中
节点创建
curl -X POST \
http://localhost:7474/db/data/cypher \
-H 'authorization: Basic bmVvNGo6bmVvNGo=' \
-H 'content-type: application/json' \
-d '{
"query" : "CREATE (n:Person { first_name : {firstname}, last_name: {lastname} }) RETURN n",
"params" : {
"firstname" : "Bonsai",
"lastname": "Y"
}
}
'
成功创建后访问ES数据库查看
curl -X GET 'http://127.0.0.1:9200/people/_search?pretty='
image.png
修改节点
curl -X POST \
http://localhost:7474/db/data/cypher \
-H 'authorization: Basic bmVvNGo6bmVvNGo=' \
-H 'content-type: application/json' \
-d '{
"query" : "MATCH (n:Person) SET n.first_name = { newfirstname } RETURN n",
"params" : {
"newfirstname" : "new_bonsai"
}
}'
成功修改后访问ES数据库查看
curl -X GET 'http://127.0.0.1:9200/people/_search?pretty='
修改节点
- 删除node
curl -X POST \
http://localhost:7474/db/data/cypher \
-H 'authorization: Basic bmVvNGo6bmVvNGo=' \
-H 'content-type: application/json' \
-d '{
"query" : "MATCH (n:Person) Delete n"
}'
成功删除后访问ES数据库查看
curl -X GET 'http://127.0.0.1:9200/people/_search?pretty='
删除节点
