pg: 特别强调solr版本高于8.6.0,就不再支持data-import通过数据库导入数据功能,官方不推荐使用了,本篇文章以8.11.1版本为例
- 拉取solr镜像 (如果服务器不能联网 请提前下载离线版docker 将镜像导入)
docker pull solr:8.11.1 - 创建solr容器 (请提前创建好 文件路径 用于将docker里面建立的索引文件夹映射出来 方便下面的配置文件修改)
a.在宿主机创建的文件夹为 /home/solr/data(存储索引数据) /home/solr/lib(存放jar)
b.给创建的文件夹赋予访问权限 (非常重要) sudo chmod 777 /home/solr/ -R
c.启动容器 docker run -d -p 8983:8983 -v /home/solr/data/:/var/solr/data -t --privileged=true --name my_solr solr:8.11.1 - 创建solr的索引
docker exec -it --user=solr my_solr bin/solr create -c my_core -
访问浏览器即可看到solr
image.png
标红框的地方就是刚刚创建的核心
- 配置分词器 (记住一定要先配置分词器 在导入数据 这样分词才会生效)
a.将分词器所需要的jar 下载放在/home/solr/lib 目录下
6.将文件拷贝到容器里
docker cp ik-analyzer-8.3.0.jar my_solr:/opt/solr-8.11.1/server/solr-webapp/webapp/WEB-INF/lib/
docker cp ik-analyzer-solr7-7.x.jar my_solr:/opt/solr-8.11.1/server/solr-webapp/webapp/WEB-INF/lib/ - 修改配置文件managed-schema 添加分词器的配置
a. 由于我们启动容器将容器里的data目录映射到/home/solr/data下 此时进入目录即可找到my_core文件夹 也就是你创建的索引
b. 宿主机下cd /home/solr/data/my_core/conf 即可看到配置文件
c. 添加配置
<fieldType name="text_ik" class="solr.TextField">
<analyzer type="index">
//useSmart：分词粗细粒度(true:粗分词 false:细分词)
<tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false" conf="ik.conf"/>
<filter class="solr.LowerCaseFilterFactory"/>
</analyzer>
<analyzer type="query">
<tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" conf="ik.conf"/>
<filter class="solr.LowerCaseFilterFactory"/>
</analyzer>
</fieldType>
<fieldType name="text_cn" class="solr.TextField">
<analyzer type="index">
<tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" conf="ik.conf"/>
<filter class="solr.LowerCaseFilterFactory"/>
</analyzer>
<analyzer type="query">
<tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" conf="ik.conf"/>
<filter class="solr.LowerCaseFilterFactory"/>
</analyzer>
</fieldType>
8.重启容器 docker restart my_solr
9.data-import 数据导入 本文章以pg为例
a. 先下载pg所依赖的jdbc包 postgresql-42.3.4.jar 放在/home/solr/lib 目录下
b. 将jar拷贝至容器中
docker cp /home/solr/lib/postgresql-42.3.4.jar my_solr:/opt/solr/server/solr-webapp/webapp/WEB-INF/lib/postgresql-42.3.4.jar
c. 进入容器 docker exec -it -u root my_solr /bin/bash
d. 拷贝data-import相关的包到运行目录 这个slor自带的包
cp /opt/solr-8.11.1/dist/solr-dataimporthandler-8.11.1.jar /opt/solr-8.11.1/server/solr-webapp/webapp/WEB-INF/lib
cp /opt/solr-8.11.1/dist/solr-dataimporthandler-extras-8.11.1.jar /opt/solr-8.11.1/server/solr-webapp/webapp/WEB-INF/lib
e. 退出容器 exit
10.修改配置文件配置数据库链接
a. cd /home/solr/data/my_core/conf solrconfig.xml文件 在最后添加内容
<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="config">db-dataconfig.xml</str>
</lst>
</requestHandler>
b.在同目录下创建文件db-dataconfig.xml 里面内容为数据库配置
<dataConfig>
<dataSource type="JdbcDataSource" driver="org.postgresql.Driver" url="jdbc:postgresql://XXXXXX:port/gisdata" user="postgres" password="********"/>
<document name="poi">
<entity name="poi" pk="gid"
query="SELECT gid,gml_id,name,areaname,tel,bd09x,bd09y,profilegeo,stdtag,x,y,geom FROM poi">
<field column="gid" name="gid"/>
<field column="gml_id" name="gml_id"/>
<field column="name" name="name"/>
<field column="areaname" name="areaname"/>
<field column="bd09x" name="bd09x"/>
<field column="bd09y" name="bd09y"/>
<field column="profilegeo" name="profilegeo"/>
<field column="stdtag" name="stdtag"/>
<field column="x" name="x"/>
<field column="y" name="y"/>
<field column="geom" name="geom"/>
</entity>
</document>
</dataConfig>
-
此时不着急导入数据 先清楚自己的那个字段需要分词搜索 比如上面的name字段需要
a. cd /home/solr/data/my_core/conf 修改配置文件managed-schema 添加分词配置
<field name="gid" type="string" indexed="true" stored="true" required="true"/>
<field name="gml_id" type="string" indexed="true" stored="true"/>
<field name="name" type="text_ik" indexed="true" stored="true" />
<field name="areaname" type="string" indexed="true" stored="true"/>
<field name="bd09x" type="string" indexed="true" stored="true"/>
<field name="bd09y" type="string" indexed="true" stored="true"/>
<field name="profilegeo" type="string" indexed="true" stored="true"/>
<field name="stdtag" type="string" indexed="true" stored="true"/>
<field name="x" type="string" indexed="true" stored="true"/>
<field name="y" type="string" indexed="true" stored="true"/>
<field name="geom" type="string" indexed="true" stored="true"/>
1665626876001.jpg - 记住重启容器让配置生效 docker restart my_solr
-
进行数据导入 进入web界面
image.png
14.查询数据
image.png
15具体使用 q=字段名:内容
