docker 环境下部署solr以及数据导入data-import和ik分词创建

pg: 特别强调solr版本高于8.6.0,就不再支持data-import通过数据库导入数据功能,官方不推荐使用了,本篇文章以8.11.1版本为例

1. 拉取solr镜像 (如果服务器不能联网 请提前下载离线版docker 将镜像导入)
   docker pull solr:8.11.1
2. 创建solr容器 (请提前创建好 文件路径 用于将docker里面建立的索引文件夹映射出来 方便下面的配置文件修改)
   a.在宿主机创建的文件夹为 /home/solr/data(存储索引数据) /home/solr/lib(存放jar)
   b.给创建的文件夹赋予访问权限 (非常重要) sudo chmod 777 /home/solr/ -R
   c.启动容器 docker run -d -p 8983:8983 -v /home/solr/data/:/var/solr/data -t --privileged=true --name my_solr solr:8.11.1
3. 创建solr的索引
   docker exec -it --user=solr my_solr bin/solr create -c my_core

4. 访问浏览器即可看到solr

   
   
   image.png

标红框的地方就是刚刚创建的核心

image.png

5. 配置分词器 (记住一定要先配置分词器 在导入数据 这样分词才会生效)
   a.将分词器所需要的jar 下载放在/home/solr/lib 目录下
   6.将文件拷贝到容器里
   docker cp ik-analyzer-8.3.0.jar my_solr:/opt/solr-8.11.1/server/solr-webapp/webapp/WEB-INF/lib/
   docker cp ik-analyzer-solr7-7.x.jar my_solr:/opt/solr-8.11.1/server/solr-webapp/webapp/WEB-INF/lib/
6. 修改配置文件managed-schema 添加分词器的配置
   a. 由于我们启动容器将容器里的data目录映射到/home/solr/data下 此时进入目录即可找到my_core文件夹 也就是你创建的索引
   b. 宿主机下cd /home/solr/data/my_core/conf 即可看到配置文件
   c. 添加配置
   
   <fieldType name="text_ik" class="solr.TextField">
   <analyzer type="index">
   //useSmart：分词粗细粒度(true:粗分词 false:细分词)
   <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false" conf="ik.conf"/>
   <filter class="solr.LowerCaseFilterFactory"/>
   </analyzer>
   <analyzer type="query">
   <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" conf="ik.conf"/>
   <filter class="solr.LowerCaseFilterFactory"/>
   </analyzer>
   </fieldType>

<fieldType name="text_cn" class="solr.TextField">
<analyzer type="index">
<tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" conf="ik.conf"/>
<filter class="solr.LowerCaseFilterFactory"/>
</analyzer>
<analyzer type="query">
<tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" conf="ik.conf"/>
<filter class="solr.LowerCaseFilterFactory"/>
</analyzer>
</fieldType>

1665625956934.png

8.重启容器 docker restart my_solr
9.data-import 数据导入 本文章以pg为例
a. 先下载pg所依赖的jdbc包 postgresql-42.3.4.jar 放在/home/solr/lib 目录下
b. 将jar拷贝至容器中
docker cp /home/solr/lib/postgresql-42.3.4.jar my_solr:/opt/solr/server/solr-webapp/webapp/WEB-INF/lib/postgresql-42.3.4.jar
c. 进入容器 docker exec -it -u root my_solr /bin/bash
d. 拷贝data-import相关的包到运行目录 这个slor自带的包
cp /opt/solr-8.11.1/dist/solr-dataimporthandler-8.11.1.jar /opt/solr-8.11.1/server/solr-webapp/webapp/WEB-INF/lib
cp /opt/solr-8.11.1/dist/solr-dataimporthandler-extras-8.11.1.jar /opt/solr-8.11.1/server/solr-webapp/webapp/WEB-INF/lib
e. 退出容器 exit
10.修改配置文件配置数据库链接
a. cd /home/solr/data/my_core/conf solrconfig.xml文件 在最后添加内容
<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="config">db-dataconfig.xml</str>
</lst>
</requestHandler>

1665626592656.jpg

b.在同目录下创建文件db-dataconfig.xml 里面内容为数据库配置
<dataConfig>
<dataSource type="JdbcDataSource" driver="org.postgresql.Driver" url="jdbc:postgresql://XXXXXX:port/gisdata" user="postgres" password="********"/>
　　<document name="poi">
<entity name="poi" pk="gid"
query="SELECT gid,gml_id,name,areaname,tel,bd09x,bd09y,profilegeo,stdtag,x,y,geom FROM poi">
　　　 <field column="gid" name="gid"/>
<field column="gml_id" name="gml_id"/>
<field column="name" name="name"/>
<field column="areaname" name="areaname"/>
<field column="bd09x" name="bd09x"/>
<field column="bd09y" name="bd09y"/>
<field column="profilegeo" name="profilegeo"/>
<field column="stdtag" name="stdtag"/>
<field column="x" name="x"/>
<field column="y" name="y"/>
<field column="geom" name="geom"/>
　　　</entity>
　　</document>
</dataConfig>

11. 此时不着急导入数据 先清楚自己的那个字段需要分词搜索 比如上面的name字段需要
    a. cd /home/solr/data/my_core/conf 修改配置文件managed-schema 添加分词配置
    　　　 <field name="gid" type="string" indexed="true" stored="true" required="true"/>
    <field name="gml_id" type="string" indexed="true" stored="true"/>
    <field name="name" type="text_ik" indexed="true" stored="true" />
    <field name="areaname" type="string" indexed="true" stored="true"/>
    <field name="bd09x" type="string" indexed="true" stored="true"/>
    <field name="bd09y" type="string" indexed="true" stored="true"/>
    <field name="profilegeo" type="string" indexed="true" stored="true"/>
    <field name="stdtag" type="string" indexed="true" stored="true"/>
    <field name="x" type="string" indexed="true" stored="true"/>
    <field name="y" type="string" indexed="true" stored="true"/>
    <field name="geom" type="string" indexed="true" stored="true"/>

    
    
    1665626876001.jpg
12. 记住重启容器让配置生效 docker restart my_solr

13. 进行数据导入 进入web界面

    
    
    image.png
    
    

    14.查询数据

    
    
    image.png
    
    15具体使用 q=字段名:内容