转:Solr5之从MySQL数据库导入数据并索引

原文: http://iamyida.iteye.com/blog/2210621 

最近有小伙伴跟我抱怨说:益达,最近博客更新的有点慢呐。其实不是我变懒了,我是不想因为数量而降低了博客的质量,我需要抱着对你们负责的态度来写每一篇博客,绝不能含糊啊,所以,还望大家多多包涵呐。

今天群里一朋友问我Solr如何对数据库表里的数据进行索引,为此,今晚特地更新此篇博客,这里我以Solr当前最新版本5.1.0,数据库MySQL为例进行讲解说明。

首先我们需要准备一张测试表,如图:

测试表创建好了之后,我们需要让表里插入几条测试数据,如图:

然后需要把E:\solr-5.1.0\dist目录下的solr-dataimporthandler-5.1.0.jar复制到E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\lib目录下,如图:

复制一个MySQL数据库驱动jar包到E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\lib目录下(如果你使用的Oracle数据库,那就是复制Oracle数据库驱动jar包,你懂的),如图:

然后你需要创建solr_home根目录,以及在solr_home创建你的core目录结构,如图:

至于如何创建,请参见我先前写的《跟益达学Solr5之使用Jetty部署Solr,这里就不再赘述了。

默认dataImport功能在Solr5中是禁用的,需要在solrconfig.xml中添加如下配置开启数据导入功能:

Xml代码

data-config.xml


这里的data-config.xml是个相对路径,是相对于你当前core下的conf目录即C:\solr_home\core1\conf,当然你也可以直接写成绝对路径,比如:C:\solr_home\core1\conf\data-config.xml,建议写成相对路径。


从E:\solr-5.1.0\example\example-DIH\solr\solr\conf路径下复制一份data.config.xml配置文件到solrconfig.xml配置文件的同级目录C:\solr_home\core1\conf下,如图:

然后我们需要使用文本编辑软件打开data-config.xml配置文件稍作修改,如图:

其中solrDB为数据源自定义名称,随便取,没什么约束,type这是固定值,表示JDBC数据源,后面的driver表示JDBC驱动类,这跟你使用的数据库有关,url即JDBC链接URL,后面的user,password分别表示链接数据库的账号密码,下面的entity映射有点类似hiberante的mapping映射,column即数据库表的列名称,name即schema.xml中定义的域名称


紧接着我们需要打开schema.xml配置文件对域名称、域类型、是否索引、是否存储、是否分词等信息进行配置,如图:

注意:这里的cndate域类型是我自定义的域类型,我在下面定义的,看图:

TrieCNDateField是我自定义的域类型,源码我稍候分享,主要是为了使日期能以我们习惯的yyyy-MM-dd HH:mm:ss这种格式来存储,而不是默认的西方人习惯的类似这样的格式:1995-12-31T23:59:59Z

本来是想直接修改TrieDateField的源码的,但我感觉那样不够优雅,所以我新建了一个Java Project----> solr-core-extra,然后我把他打包成了jar包。

把这个jar包复制到E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\lib目录下,如图:

然后启动我们的Tomcat,如图:

这里我假定你们都已经成功把Solr5部署到了Tomcat下了,如果Tomcat正常启动后,我们会看到:

然后打开你们的浏览器,访问http://localhost:8080/solr,确保我们的Solr Web UI能正常访问,如图:

点击左侧的Dataimport菜单,不出意外的话,你将看到如图截图:

需要引起注意的是这里的command参数,它有两个选项,如图:

full-import:全量导入,它会覆盖原有的索引

delta-import:即增量导入,它会在原有索引的基础上追加

下面的几个多选框含义解释如下:

verbose:这个选项设为true的话,会打印导入的一些中间过程的详细信息,有利于调试以及了解内部操作细节

clean:表示是否在导入数据创建索引之前先清空掉原有的索引

commit:表示是否立即提交索引

optimize:表示是否优化索引

debug:表示是否开启调试模式


然后选择需要导入的Entity,点击Execute按钮开始执行数据导入操作,如图:

如果你看到indexing字样,如图:

如果你导入的数据并不多,但这个界面停留了很长时间(比如超过了30秒,就不需要再傻傻等着了),那么很有可能数据导入过程出错了,这时,请切换到logging菜单查看solr日志,如图:

日志提示有几个html文件找不到,我们可以在solr的解压安装目录下可以找到,如图:

然后我们需要清掉索引目录重新执行dataimport操作,如图:

然后重启我们的tomcat,重新执行dataimport操作,如图:

切换到overview菜单,我们会看到:

切换到Query菜单,对我们刚插入的索引进行查询测试,如图:

OK,至此从数据库导入数据并索引就讲解到这儿了,至于最后抛出的问题就留给你们自己解决啦,最后关于我自定义的日期域类型我会在底下的附件里上传,因为ITeye不适合上传大文件,所以依赖的jar包我就不提供了,需要完整源码的,请从我提供的百度网盘地址去下载:

http://pan.baidu.com/s/1i3J4DZf




     如果你还有什么问题请加我Q-Q:7-3-6-0-3-1-3-0-5,

或者加裙

一起交流学习!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,794评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,050评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,587评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,861评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,901评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,898评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,832评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,617评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,077评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,349评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,483评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,199评论 5 341
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,824评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,442评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,632评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,474评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,393评论 2 352

推荐阅读更多精彩内容