最近了解了全文检索的工具Solr,这个工具可以添加分词工具,还可以分页,看起来较为不错了,但是更新索引的操作还是需要手动来执行,在网上找了几圈的定时器更新,各有不同,于是乎尝试了下,成功了写下这个过程。
先下载solr-dataimport-scheduler.jar
百度云提取码:ntjc
放置Jar包
我用的是Solr8.0,运行环境为Tomcat 8.0,JDK1.8
在webapps下有两个包,一个solr,一个solrhome。
将下载好的jar包放入\solr\WEB-INF\lib下即可。
配置属性包
- 若要让定时器能够执行,需要更改2个xml和1个配置文件
web.xml
该文件位于
\solr\WEB-INF\web.xml
在第一个servlet标签前添加
<listener>
<listener-class>
org.apache.solr.handler.dataimport.scheduler.ApplicationListener
</listener-class>
</listener>
data-config.xml
该文件位于
\solrhome\gisutil\data-config.xml
其中gisutil为你自定义的core
<dataConfig>
<!-- 数据库信息 -->
<dataSource type="JdbcDataSource"
driver="com.mysql.cj.jdbc.Driver"
url="jdbc:mysql://192.168.1.24:3306/gisutil?useUnicode=true&characterEncoding=utf8&userSSL=false&serverTimezone=GMT%2B8"
user="root" password="123456"/>
<document>
<!-- document实体 -->
<!-- 数据库字段映射solr字段 -->
<entity name="PH_HOUSE" pk="id" query="select * from PH_HOUSE"
deltaImportQuery="select * from PH_HOUSE where PH_HOUSE_ID='${dih.delta.id}'"
deltaQuery="SELECT PH_HOUSE_ID as id FROM PH_HOUSE where updateTime >'${dataimporter.last_index_time}'"
> <field column="PH_HOUSE_ID" name="id"/>
<field column="SIT" name="SIT"/>
<field column="PP_SIT" name="PP_SIT"/>
</entity>
</document>
</dataConfig>
在上述代码中
driver为你配置的数据地址,我这里用的是mysql
要添加定时索引需要配置的是entity 并在其中添加
deltaImportQuery="select * from PH_HOUSE where PH_HOUSE_ID='${dih.delta.id}'"
deltaQuery="SELECT PH_HOUSE_ID as id FROM PH_HOUSE where updateTime >'${dataimporter.last_index_time}'"
因为是增量更新,所以需要有一个字段来断定是否是最近新增、修改、删除的数据,所以需要在表中添加updateTime字段
pk='id'
这里使用id作为主键,注意pk="id" 不能随便改 ,需要和schema.xml中的<uniqueKey>id</uniqueKey>匹配,否则会报“ org.apache.solr.common.SolrException: Document is missing mandatory uniqueKey field: id”
PH_HOUSE 、PH_HOUSE_ID、updateTime
分别为表和主键ID以及更新标识,修改为自己需要的内容,注意在deltaQuery中必须将主键名as id
<field column="PH_HOUSE_ID" name="id"/>
主键ID,记得name必须为id
managed-schema
该文件位于
\solrhome\gisutil\managed-schema
可以用记事本打开修改。
<field name="updateTime" type="pdate" indexed="true" stored="true"/>
建议将update加入索引
配置定时器
在solrhome/gisutil(gisutil改成自己的core)建立config文件夹,并在其中建立dataimport.properties
#################################################
# #
# dataimport scheduler properties #
# #
#################################################
# tosync or not to sync
# 1- active; anything else - inactive
# 这里的配置不用修改
syncEnabled=1
# which cores to schedule
# ina multi-core environment you can decide which cores you want syncronized
# leave empty or comment it out if using single-core deployment
# 修改成你所使用的core,我这里是我自定义的core:simple
syncCores=solr_db_scheduler
# solr server name or IP address
# [defaults to localhost if empty]
这个一般都是localhost不会变
server=localhost
# solr server port
# [defaults to 80 if empty]
# 安装solr的tomcat端口,如果你使用的是默认的端口,就不用改了,否则改成自己的端口就好了
port=8983
# application name/context
# [defaults to current ServletContextListener's context (app) name]
# 这里默认不改
webapp=solr
# URL params [mandatory]
# remainder of URL
# 这里改成下面的形式,solr同步数据时请求的链接
params=/dataimport?command=delta-import&clean=false&commit=true
# schedule interval
# number of minutes between two runs
# [defaults to 30 if empty]
#这里是设置定时任务的,单位是分钟,也就是多长时间你检测一次数据同步,根据项目需求修改
# 开始测试的时候为了方便看到效果,时间可以设置短一点
interval=1
# 重做索引的时间间隔,单位分钟,默认7200,即5天;
# 为空,为0,或者注释掉:表示永不重做索引
reBuildIndexInterval=7200
# 重做索引的参数
reBuildIndexParams=/select?qt=/dataimport&command=full-import&clean=true&commit=true
# 重做索引时间间隔的计时开始时间,第一次真正执行的时间=reBuildIndexBeginTime+reBuildIndexInterval*60*1000;
# 两种格式:2012-04-11 03:10:00 或者 03:10:00,后一种会自动补全日期部分为服务启动时的日期
reBuildIndexBeginTime=03:10:00
上面是网上搜到的,在实际运行最终只要运行一次注释都会没了,下面是我本地的
#Fri May 24 09:36:13 CST 2019
PH_HOUSE.last_index_time=2019-05-24 09\:36\:11
interval=1
port=8088
server=localhost
params=/dataimport?command\=delta-import&clean\=false&commit\=true
webapp=solr
reBuildIndexInterval=1440
syncEnabled=1
last_index_time=2019-05-24 09\:36\:11
reBuildIndexBeginTime=03\:10\:00
reBuildIndexParams=/select?qt\=/dataimport&command\=full-import&clean\=true&commit\=true
syncCores=gisutil
以上就配置完成了
配置完成后可以启动Tomcat,在
中进行搜索,搜到1条记录,然后我们添加一条数据
大约过1分钟我们再次查询,这时候可以看到tomcat记录
再次查询可以看到已经更新了