专注JavaWeb开发 首页制式『默认式 OR 时间轴 网站地图|RSS订阅|设为首页|加入收藏
当前位置:首页 >服务器 > 正文

跟益达学Solr5之从MySQL数据库导入数据并索引

来源: ITEye 作者: ITEye 发布时间: 2015-05-14 浏览次数:

最近有小伙伴跟我抱怨说:益达,最近博客更新的有点慢呐。其实不是我变懒了,我是不想因为数量而降低了博客的质量,我需要抱着对你们负责的态度来写每一篇博客,绝不能含糊啊,所以,还望大家多多包涵呐。

今天群里一朋友问我Solr如何对数据库表里的数据进行索引,为此,今晚特地更新此篇博客,这里我以Solr当前最新版本5.1.0,数据库MySQL为例进行讲解说明。

首先我们需要准备一张测试表,如图:

 

 

 
测试表创建好了之后,我们需要让表里插入几条测试数据,如图:

 
然后需要把E:\solr-5.1.0\dist目录下的solr-dataimporthandler-5.1.0.jar复制到E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\lib目录下,如图:


 
 
复制一个MySQL数据库驱动jar包到E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\lib目录下(如果你使用的Oracle数据库,那就是复制Oracle数据库驱动jar包,你懂的),如图:

 
然后你需要创建solr_home根目录,以及在solr_home创建你的core目录结构,如图:

 
至于如何创建,请参见我先前写的《跟益达学Solr5之使用Jetty部署Solr,这里就不再赘述了。

默认dataImport功能在Solr5中是禁用的,需要在solrconfig.xml中添加如下配置开启数据导入功能:

Xml代码  收藏代码

  1. <requestHandler name="/dataimport" class="solr.DataImportHandler">  

  2.       <lst name="defaults">  

  3.             <str name="config">data-config.xml</str>  

  4.       </lst>  

  5. </requestHandler>  

 

这里的data-config.xml是个相对路径,是相对于你当前core下的conf目录即C:\solr_home\core1\conf,当然你也可以直接写成绝对路径,比如:C:\solr_home\core1\conf\data-config.xml,建议写成相对路径。

 

E:\solr-5.1.0\example\example-DIH\solr\solr\conf路径下复制一份 data.config.xml配置文件到solrconfig.xml配置文件的同级目录C:\solr_home\core1\conf下,如图:


 

 
然后我们需要使用文本编辑软件打开data-config.xml配置文件稍作修改,如图:

 
其中solrDB为数据源自定义名称,随便取,没什么约束,type这是固定值,表示JDBC数据源,后面的driver表示JDBC驱动类,这跟你使用的数据库有关,urlJDBC链接URL,后面的userpassword分别表示链接数据库的账号密码,下面的entity映射有点类似hiberantemapping映射,column即数据库表的列名称,nameschema.xml中定义的域名称

 

紧接着我们需要打开schema.xml配置文件对域名称、域类型、是否索引、是否存储、是否分词等信息进行配置,如图:

 
注意:这里的cndate域类型是我自定义的域类型,我在下面定义的,看图:

 
TrieCNDateField是我自定义的域类型,源码我稍候分享,主要是为了使日期能以我们习惯的yyyy-MM-dd HH:mm:ss这种格式来存储,而不是默认的西方人习惯的类似这样的格式:1995-12-31T23:59:59Z

 
本来是想直接修改TrieDateField的源码的,但我感觉那样不够优雅,所以我新建了一个Java Project----> solr-core-extra,然后我把他打包成了jar包。

 
把这个jar包复制到E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\lib目录下,如图:

 
然后启动我们的Tomcat,如图:

 
这里我假定你们都已经成功把Solr5部署到了Tomcat下了,如果Tomcat正常启动后,我们会看到:

 
然后打开你们的浏览器,访问http://localhost:8080/solr,确保我们的Solr Web UI能正常访问,如图:

 
点击左侧的Dataimport菜单,不出意外的话,你将看到如图截图:

 
需要引起注意的是这里的command参数,它有两个选项,如图:

 
full-import:全量导入,它会覆盖原有的索引

delta-import:即增量导入,它会在原有索引的基础上追加

下面的几个多选框含义解释如下:

verbose:这个选项设为true的话,会打印导入的一些中间过程的详细信息,有利于调试以及了解内部操作细节

clean:表示是否在导入数据创建索引之前先清空掉原有的索引

commit:表示是否立即提交索引

optimize:表示是否优化索引

debug: 表示是否开启调试模式

 

然后选择需要导入的Entity,点击Execute按钮开始执行数据导入操作,如图:

 
如果你看到indexing字样,如图:


 
如果你导入的数据并不多,但这个界面停留了很长时间(比如超过了30秒,就不需要再傻傻等着了),那么很有可能数据导入过程出错了,这时,请切换到logging菜单查看solr日志,如图:

 
日志提示有几个html文件找不到,我们可以在solr的解压安装目录下可以找到,如图:

 
然后我们需要清掉索引目录重新执行dataimport操作,如图:

 
然后重启我们的tomcat,重新执行dataimport操作,如图:

 
切换到overview菜单,我们会看到:

 
切换到Query菜单,对我们刚插入的索引进行查询测试,如图:

 
OK,至此从数据库导入数据并索引就讲解到这儿了,至于最后抛出的问题就留给你们自己解决啦,最后关于我自定义的日期域类型我会在底下的附件里上传,因为ITeye不适合上传大文件,所以依赖的jar包我就不提供了,需要完整源码的,请从我提供的百度网盘地址去下载:

      http://pan.baidu.com/s/1i3J4DZf


    QQ群: 武汉地区(142173356)验证消息JavaWeb1024

    网友共有【】评论,点击查看


    
    x 微信关注我们 随时获取最新网站资讯