在Solr中启用定时器自动更新(增量)

最近了解了全文检索的工具Solr,这个工具可以添加分词工具,还可以分页,看起来较为不错了,但是更新索引的操作还是需要手动来执行,在网上找了几圈的定时器更新,各有不同,于是乎尝试了下,成功了写下这个过程。
先下载solr-dataimport-scheduler.jar
百度云提取码:ntjc

放置Jar包

我用的是Solr8.0,运行环境为Tomcat 8.0,JDK1.8
在webapps下有两个包,一个solr,一个solrhome。
将下载好的jar包放入\solr\WEB-INF\lib下即可。

配置属性包

  • 若要让定时器能够执行,需要更改2个xml和1个配置文件

web.xml

该文件位于

\solr\WEB-INF\web.xml

在第一个servlet标签前添加

<listener>
     <listener-class>
         org.apache.solr.handler.dataimport.scheduler.ApplicationListener
      </listener-class>
</listener>

data-config.xml

该文件位于

\solrhome\gisutil\data-config.xml

其中gisutil为你自定义的core

<dataConfig>
    <!-- 数据库信息 -->
    <dataSource type="JdbcDataSource" 
        driver="com.mysql.cj.jdbc.Driver" 
                url="jdbc:mysql://192.168.1.24:3306/gisutil?useUnicode=true&amp;characterEncoding=utf8&amp;userSSL=false&amp;serverTimezone=GMT%2B8"
        user="root" password="123456"/>
    <document>
        <!-- document实体 -->
        <!-- 数据库字段映射solr字段 -->  
        <entity name="PH_HOUSE" pk="id"  query="select * from  PH_HOUSE"
         deltaImportQuery="select * from PH_HOUSE where PH_HOUSE_ID='${dih.delta.id}'" 
        deltaQuery="SELECT PH_HOUSE_ID as id FROM PH_HOUSE where updateTime >'${dataimporter.last_index_time}'"
        >   <field column="PH_HOUSE_ID" name="id"/>
            <field column="SIT" name="SIT"/>
            <field column="PP_SIT" name="PP_SIT"/>
        </entity>
    </document>
</dataConfig>

在上述代码中

driver为你配置的数据地址,我这里用的是mysql

要添加定时索引需要配置的是entity 并在其中添加

deltaImportQuery="select * from PH_HOUSE where PH_HOUSE_ID='${dih.delta.id}'" 
deltaQuery="SELECT PH_HOUSE_ID as id FROM PH_HOUSE where updateTime >'${dataimporter.last_index_time}'"

因为是增量更新,所以需要有一个字段来断定是否是最近新增、修改、删除的数据,所以需要在表中添加updateTime字段


image.png
pk='id' 

这里使用id作为主键,注意pk="id" 不能随便改 ,需要和schema.xml中的<uniqueKey>id</uniqueKey>匹配,否则会报“ org.apache.solr.common.SolrException: Document is missing mandatory uniqueKey field: id”

PH_HOUSE 、PH_HOUSE_ID、updateTime 

分别为表和主键ID以及更新标识,修改为自己需要的内容,注意在deltaQuery中必须将主键名as id

<field column="PH_HOUSE_ID" name="id"/>

主键ID,记得name必须为id

managed-schema

该文件位于

\solrhome\gisutil\managed-schema

可以用记事本打开修改。

<field name="updateTime" type="pdate" indexed="true" stored="true"/>

建议将update加入索引

配置定时器

在solrhome/gisutil(gisutil改成自己的core)建立config文件夹,并在其中建立dataimport.properties

#################################################
#                                              #
#      dataimport scheduler properties        #
#                                              #
#################################################
 
#  tosync or not to sync
#  1- active; anything else - inactive
# 这里的配置不用修改
syncEnabled=1
 
# which cores to schedule
#  ina multi-core environment you can decide which cores you want syncronized
# leave empty or comment it out if using single-core deployment
#  修改成你所使用的core,我这里是我自定义的core:simple
syncCores=solr_db_scheduler
 
# solr server name or IP address
# [defaults to localhost if empty]
这个一般都是localhost不会变
server=localhost
 
# solr server port
# [defaults to 80 if empty]
#  安装solr的tomcat端口,如果你使用的是默认的端口,就不用改了,否则改成自己的端口就好了
port=8983
 
# application name/context
# [defaults to current ServletContextListener's context (app) name]
#  这里默认不改
webapp=solr
 
# URL params [mandatory]
# remainder of URL
#  这里改成下面的形式,solr同步数据时请求的链接
params=/dataimport?command=delta-import&clean=false&commit=true
 
# schedule interval
# number of minutes between two runs
# [defaults to 30 if empty]
#这里是设置定时任务的,单位是分钟,也就是多长时间你检测一次数据同步,根据项目需求修改
#  开始测试的时候为了方便看到效果,时间可以设置短一点
interval=1
 
#  重做索引的时间间隔,单位分钟,默认7200,即5天;
#  为空,为0,或者注释掉:表示永不重做索引
reBuildIndexInterval=7200
 
#  重做索引的参数
reBuildIndexParams=/select?qt=/dataimport&command=full-import&clean=true&commit=true
 
#  重做索引时间间隔的计时开始时间,第一次真正执行的时间=reBuildIndexBeginTime+reBuildIndexInterval*60*1000;
#  两种格式:2012-04-11 03:10:00 或者 03:10:00,后一种会自动补全日期部分为服务启动时的日期
reBuildIndexBeginTime=03:10:00

上面是网上搜到的,在实际运行最终只要运行一次注释都会没了,下面是我本地的

#Fri May 24 09:36:13 CST 2019
PH_HOUSE.last_index_time=2019-05-24 09\:36\:11
interval=1
port=8088
server=localhost
params=/dataimport?command\=delta-import&clean\=false&commit\=true
webapp=solr
reBuildIndexInterval=1440
syncEnabled=1
last_index_time=2019-05-24 09\:36\:11
reBuildIndexBeginTime=03\:10\:00
reBuildIndexParams=/select?qt\=/dataimport&command\=full-import&clean\=true&commit\=true
syncCores=gisutil

以上就配置完成了
配置完成后可以启动Tomcat,在


image.png

中进行搜索,搜到1条记录,然后我们添加一条数据


image.png

大约过1分钟我们再次查询,这时候可以看到tomcat记录
image.png

再次查询可以看到已经更新了
image.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,236评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,867评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,715评论 0 340
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,899评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,895评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,733评论 1 283
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,085评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,722评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,025评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,696评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,816评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,447评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,057评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,009评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,254评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,204评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,561评论 2 343