Solr 中 core 创建后的数据导入

村雨遥

发布于 2022-06-15 09:46:34

7260

发布于 2022-06-15 09:46:34

文章被收录于专栏：JavaPark

前言

在笔记1中，我们已经介绍了Solr下载及单节点启动和配置，以及如何创建core，但是如何进行数据导入却还没有介绍。这篇文章就将教你在创建core之后，应该如何进行相关配置并导入数据；

配置数据库

笔记1中，在创建core时，有一个solrconfig.xml文件，如下图所示：

打开该文件，并在文件的config标签中添加下列内容，添加后如图所示：

<requestHandler name="/dataimport"  class="solr.DataImportHandler"> 
      <lst name="defaults"> 
      <str name="config">data-config.xml</str> 
      </lst> 
    </requestHandler>

创建data-config.xml文件，如图所示；

在data-config.xml文件中添加如下内容；

<?xml version="1.0" encoding="UTF-8" ?>
<dataConfig> 
  <!--dataSource标签，配置数据库相关信息-->
  <dataSource name = "db_weibo" type="JdbcDataSource"   
    driver="com.mysql.jdbc.Driver"
    url="jdbc:mysql://127.0.0.1:3306/mwyq"
    user="root"
    password="123456"/>  

  <document>
    <!--以下的dataSource指定上边的dataSource标签中的name属性，并不是必须要加的，除非你配置了多个数据源，这里我是一个数据源，所以，下边的dataSource属性是可以去掉的，另外，pk属性指定的是manage-schema文件中的uniqueKey标签中的值，即主键-->  
    <entity name="weibo" dataSource="db_weibo"  PK="weibo_id"
        query="select weibo_id,weibo_content,weibo_author,weibo_emotion,weibo_time,weibo_lang from weibo" 
        deltaImportQuery="select weibo_id,weibo_content,weibo_author,weibo_emotion,weibo_time,weibo_lang from weibo where weibo_id= '${dih.delta.id}'"
                deltaQuery="select weibo_id,weibo_content,weibo_author,weibo_emotion,weibo_time,weibo_lang from weibo where weibo_time > '${dataimporter.last_index_time}'">


        <!--以下的字段column属性对应数据库中字段名称，name是对应solr这边配置的名称；
        注意id，默认名称即为id，表示solr这边一条数据的主键，为需要的字段建立索引关系
        如果数据库中的主键不是id，比如是objectId，那上边的query需要为它起一个别名为id即可-->
        <field column="weibo_id" name="id"/>
        <field column="weibo_id" name="weibo_id"/>
        <field column="weibo_content" name="weibo_content"/>
        <field column="weibo_author" name="weibo_author"/>
        <field column="weibo_emotion" name="weibo_emotion"/>
        <field column="weibo_time" name="weibo_time"/>
        <field column="weibo_lang" name="weibo_lang"/>
    </entity> 
  </document>  
</dataConfig>

PS： solr有全局索引和增量索引，所以上述配置中有两次query操作；

全局索引：对应上述配置query，即将所有要建立索引的数据均重新建立一般，当数据量很大时除开第一次导入数据之外不推荐，比较耗时；
增量索引：对应上述配置deltaQuery，即将数据库中新增数据建立索引，加入solr查询中；
数据库驱动包：因为配置中用到MySQL数据库，因此需要导入MySQL数据库驱动包，从网上找到驱动包后，将其放入solr-xxx/webapps/solr/WEB-INF/lib文件夹中；

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2020-03-25，如有侵权请联系 cloudcommunity@tencent.com 删除

lucene/solr