首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

DIH工作时Solr挂起,日志不显示任何内容

DIH是Data Import Handler的缩写,是Solr中用于数据导入的一个组件。当DIH工作时,如果Solr挂起且日志不显示任何内容,可能是由以下几个原因导致的:

  1. 配置错误:检查DIH的配置文件是否正确设置。确保配置文件中指定了正确的数据源和数据目标,并且字段映射正确。
  2. 数据源问题:检查数据源是否可访问和可用。确保数据库或其他数据源正常运行,并且Solr服务器可以连接到数据源。
  3. 数据量过大:如果要导入的数据量非常大,可能会导致Solr挂起。在这种情况下,可以考虑增加服务器资源,如内存和处理器,或者使用分布式Solr集群来处理大规模数据导入。
  4. 日志级别设置:检查Solr的日志级别设置。如果日志级别设置为较低的级别,可能会导致日志中不显示任何内容。可以尝试将日志级别设置为更高的级别,以便查看更详细的日志信息。
  5. Solr版本兼容性:确保DIH组件与所使用的Solr版本兼容。有时,特定版本的DIH可能不适用于某些Solr版本,导致挂起和日志问题。

对于Solr挂起和日志不显示任何内容的问题,可以尝试以下解决方法:

  1. 检查DIH配置文件,确保配置正确无误。
  2. 检查数据源的可用性和连接性。
  3. 增加服务器资源或使用分布式Solr集群来处理大规模数据导入。
  4. 调整日志级别设置,以便查看更详细的日志信息。

如果以上方法无法解决问题,建议查阅Solr官方文档、社区论坛或向Solr开发者社区寻求帮助。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

【漏洞预警】Apache Solr远程代码执行漏洞 (CVE-2019-0193)处置手册及技术分析

是用于从数据库或其他源提取数据的常用模块,该模块中所有DIH配置都可以通过外部请求的dataConfig参数来设置,由于DIH配置可以包含脚本,因此该参数存在安全隐患。...4漏洞防护 4.1 官方升级 从Solr的8.2.0版本开始,使用问题参数dataConfig需要将java系统属性“enable.dih.dataconfigparam”设置为true。...2、确保网络设置只允许可信流量与Solr建立通信,尤其是与DIH请求处理器的通信。 4.3 产品防护 针对此漏洞,绿盟科技防护产品已发布规则升级包,可形成针对此漏洞的防护能力。...由于脚本内容完全是用户控制的,当指定的script含有恶意代码就会被执行,下面看一下Solr中如何执行javascript代码: 在读取EntityProcessorWrapper的每一个元素,是通过...如欲转载或传播此安全公告,必须保证此安全公告的完整性,包括版权声明等全部内容。未经绿盟科技允许,不得任意修改或者增减此安全公告内容,不得以任何方式将其用于商业目的。

1K10

开始使用Apache Solr

为了本土化,翻译内容略作修改。 Apache Solr是一个开源的搜索服务器。 Apache Solr包含全文搜索引擎Apache Lucene。...Solr是一个由Lucene提供的倒排索引的HTTP包装器。倒排索引的目的是允许快速的全文搜索,代价是在将文档添加到数据库增加处理。倒排文件可能是数据库文件本身,而不是索引。...现在您已经了解了Apache Solr的一些想法,下载并开始工作。您可以从这里下载最新版本。 安装并启动Apache Solr非常简单。只要按照这些步骤,我们就能够很好的完成。.../bin/solr start -p 4444)。当您第一次启动Apache Solr,将不会有任何数据可供玩或查询。您需要使用....-e 运行云,techproducts,dih和无模式的配置。 -f 在前台运行。 -noprompt 启动Solr并禁止任何可能出现的提示。这有一个隐式接受所有默认值的副作用。

1K00

一、Solr安装(单机版)

的上下文路径 server/etc Jetty的相关配置,包括端口和SSL的配置 server/lib Jetty运行的依赖包 server/logs Solr运行的日志文件目录 server/resources...2.2 修改配置文件 运行单机版的Solr不需要修改任何配置项 3 启动Solr 进入solr目录下的bin目录下,运行 D:\solr-8.9.0\bin>solr.cmd start 运行后的结果如下...就表示Solr单机版顺利启动成功了 访问Solr管理控制台 打开浏览器,输入地址 http://localhost:8983,浏览器显示如下: 配置Solr的core 从上节可以看到管理控制台提示“No...,本人找了目录D:\solr-8.9.0\example\example-DIH\solr\solr下的配置文件 如果我们要修改core的名称,通过core.properties文件并增加如下配置即可...name=collection1 我们一般把core的名称跟目录保持一致,所以一般也不用进行任何配置 配置完成后重启Solr 我们发现Core Selector下可以进行Core的选择了,到此,单机版的

87210

Solr 笔记 2-core 创建后的数据导入

打开该文件,并在文件的config标签中添加下列内容,添加后如图所示: <requestHandler name="/dataimport" class="<em>solr</em>.DataImportHandler...weibo_id,weibo_content,weibo_author,weibo_emotion,weibo_time,weibo_lang from weibo where weibo_id= '${<em>dih</em>.delta.id...有全局索引和增量索引,所以上述配置中有两次query操作; 全局索引:对应上述配置query,即将所有要建立索引的数据均重新建立一般,当数据量很大<em>时</em>除开第一次导入数据之外<em>不</em>推荐,比较耗时; 增量索引:对应上述配置...webapps/<em>solr</em>/WEB-INF/lib文件夹中; 配置managed-schema文件 即在笔记 1 中创建core后所出现的schema.xml文件,该文件配置<em>内容</em>为<em>solr</em>索引中引入字段的类型设置...如果为false,则该字段不能作为条件查询出来; stored:表示是在<em>solr</em>中<em>显示</em>,如果这里设置为false,将会在<em>solr</em>中查询不到。

80830

Solr 中 core 创建后的数据导入

这篇文章就将教你在创建core之后,应该如何进行相关配置并导入数据; 配置数据库 笔记1中,在创建core,有一个solrconfig.xml文件,如下图所示: 打开该文件,并在文件的config...标签中添加下列内容,添加后如图所示: ​ 创建data-config.xml文件,如图所示; 在data-config.xml文件中添加如下内容...weibo_id,weibo_content,weibo_author,weibo_emotion,weibo_time,weibo_lang from weibo where weibo_id= '${dih.delta.id...有全局索引和增量索引,所以上述配置中有两次query操作; 全局索引:对应上述配置query,即将所有要建立索引的数据均重新建立一般,当数据量很大除开第一次导入数据之外推荐,比较耗时; 增量索引

70820

Solr core创建后的数据导入

配置数据库 上一篇 文章 中,在创建core,有一个solrconfig.xml文件,如下图所示: 打开该文件,并在文件的config标签中添加下列内容,添加后如图所示: <requestHandler...weibo_id,weibo_content,weibo_author,weibo_emotion,weibo_time,weibo_lang from weibo where weibo_id= '${<em>dih</em>.delta.id...有全局索引和增量索引,所以上述配置中有两次query操作; 全局索引:对应上述配置query,即将所有要建立索引的数据均重新建立一般,当数据量很大<em>时</em>除开第一次导入数据之外<em>不</em>推荐,比较耗时; 增量索引:对应上述配置...webapps/<em>solr</em>/WEB-INF/lib文件夹中; 配置managed-schema文件 即在笔记 1 中创建core后所出现的schema.xml文件,该文件配置<em>内容</em>为<em>solr</em>索引中引入字段的类型设置...如果为false,则该字段不能作为条件查询出来; stored:表示是在<em>solr</em>中<em>显示</em>,如果这里设置为false,将会在<em>solr</em>中查询不到。

86910

Apache Solr DataImportHandler 远程代码执行漏洞(CVE-2019-0193) 分析

3.1 Solr工作机制 1. solr是在lucene工具包的基础之上进行了封装,并且以web服务的形式对外提供索引功能 2....• schema.xml/managed-schema: 这里面定义了与数据源相关联的字段(Field)以及Solr建立索引该如何处理Field,它的内容可以自己打开新建的core下的schema.xml...:指定时,默认的处理器 XPathEntityProcessor:索引XML类型数据使用 FileListEntityProcessor:一个简单的实体处理器...内容不会以任何方式解析,但是 您可以根据需要添加transform来操作“plainText”中的数据 LineEntityProcessor...内容不会以任何方式解析, 但您可以添加transform来操作“rawLine”中的数据或创建其他附加字段 SolrEntityProcessor

2.1K20

Solr学习笔记 - 关于近实时搜索

这些设置将控制挂起的更新自动推送到索引的频率。autoCommit交的另一种选择是使用commitWithin,它可以在向Solr发出更新请求定义。或在更新请求程序中。 maxDocs。...频繁更新的设置将提高搜索的准确性,因为新的内容将被更快地搜索,但性能可能会因为频繁更新而受到影响。较少的更新可能会提高性能,但是更新在查询中显示需要更长的时间。...Transaction Logs 事务日志是自上次hard commit以来更新的“滚动窗口”。每次发生任何类型的hard commit,都会关闭当前事务日志,打开一个新的事务日志。...在发生不适当的关闭(电源丢失、JVM崩溃、kill -9等)任何写入tlog但在Solr停止还没有通过hard commit提交的文档都将在启动重新播放。因此数据不会丢失。...tlog包含所有文档,只包含上次硬提交之后的文档。旧的事务日志文件在不再需要被删除。 上面隐含的意思是,如果禁用了硬提交,事务日志将永远增长。因此,索引启用硬提交是很重要的。

4.5K10

全文检索引擎Solr系列——入门篇

的管理界面 索引数据 服务启动后,目前你看到的界面没有任何数据,你可以通过POSTing命令向Solr中添加(更新)文档,删除文档,在exampledocs目录包含一些示例文件,运行命令: 1 java...-jar post.jar solr.xml monitor.xml 上面的命令是向solr添加了两份文档,打开这两个文件看看里面是什么内容solr.xml里面的内容是: 1 2 3 4 5 6...”,具体步骤是: 点击页面下的Execute Query按钮后右侧就会显示查询结果,这个结果就是刚才导入进去的solr.xml的json格式的展示结果。...数据导入 导入数据到Solr的方式也是多种多样的: 可以使用DIH(DataImportHandler)从数据库导入数据 支持CSV文件导入,因此Excel数据也能轻松导入 支持JSON格式文档 二进制文档比如...文档从索引中删除了,再次搜”solr不再返回结果。

98610

Apache Solr DataImportHandler远程代码执行漏洞(CVE-2019-0193) 分析

Solr工作机制 1.solr是在lucene工具包的基础之上进行了封装,并且以web服务的形式对外提供索引功能 2.业务系统需要使用到索引的功能(建索引,查索引),只要发出http请求,并将返回数据进行解析即可...schema.xml/managed-schema:这里面定义了与数据源相关联的字段(Field)以及Solr建立索引该如何处理Field,它的内容可以自己打开新建的core下的schema.xml/...:指定时,默认的处理器 XPathEntityProcessor:索引XML类型数据使用 FileListEntityProcessor:一个简单的实体处理器...内容不会以任何方式解析,但是 您可以根据需要添加transform来操作“plainText”中的数据 LineEntityProcessor...内容不会以任何方式解析, 但您可以添加transform来操作“rawLine”中的数据或创建其他附加字段 SolrEntityProcessor

1.4K00

干货 | 如何用Solr搭建大数据查询平台

-5.5.0/example/example-DIH/solr/db/conf下面的所有文件全部拷贝到我们创建的conf目录中.接下来的配置主要涉及到三个文件, solrconfig.xml, schema.xml.../webapp/WEB-INF/lib目录中,然后重启solr,就可以开始数据导入工作了。...上图返回结果中的numfound:111892代表一共返回的结果数,指定 start和rows的情况下默认只显示前十个结果。...到这一步,如果只是搭建一个本地库,供自己使用,那么我们接下来只需写一个查询程序,post关键字,然后显示返回的结果即可,比如这样: 秒查,速度非常快,但如果要架设成服务器,提供给其他人使用,我们还有很多工作要做...现在我们的服务器搭建还剩下最后一件事:既然现在我们准备把solr查询提供给别人用,那么问题来了,我们只希望别人通过tomcat里的servlet查询,而希望直接调用solr,我们需要屏蔽外部查询: 如果把

4.5K70

Solr的知识点学习 Solr单机版的安装与使用

1 注意: 2 collection1:叫做一个Solr运行实例SolrCore,SolrCore名称固定,一个solr运行实例对外单独提供索引和搜索接口。...3 4 b、Logging: 5 Solr运行日志信息 6 7 c、Cloud: 8 Cloud即SolrCloud,即Solr云(集群),当使用SolrCloud模式运行时会显示此菜单,...16 17 18 f、Tread Dump: 19 显示Solr Server中当前活跃线程信息,同时也可以跟踪线程运行栈信息。...21 22 3、uniqueKey 23 Solr中默认定义唯一主键key为id域,如下: 24 id 25 Solr在删除、更新索引使用id域进行判断...10 d、start代表分页显示使用,开始记录下标,从0开始。rows代表指定返回结果最多有多少条记录,配合start来实现分页。 11 e、fl代表指定返回那些字段内容,用逗号或空格分隔多个。

1.1K40

Apache Solr DataImportHandler RCE

声明 由于传播、利用此文所提供的信息而造成的任何直接或者间接的后果及损失,均由使用者本人负责,雷神众测以及文章作者不为此承担任何责任。 雷神众测拥有对此文章的修改和解释权。...如欲转载或传播此文章,必须保证此文章的完整性,包括版权声明等全部内容。未经雷神众测允许,不得任意修改或者增减此文章内容,不得以任何方式将其用于商业目的。 0x01 通告 ?...0x02 漏洞分析 从通告中来看,漏洞应该和DIH功能中的某个功能有关系,翻一翻DataImportHandler的手册,找到了疑似漏洞触发点,下面的代码功能是 ScriptTransformer 。...修复方案 值得注意的是,官方给出的临时修复方案并不能缓解漏洞,当把相应index core的配置文件置为空,dataimport的时候只是获取不到默认的配置,但是依然能够通过这个接口发送PoC,漏洞也依然能够触发...,解决办法是把相应配置文件中的dataimport requestHandler全部注释并重启Solr服务器,或者选择升级才能彻底关闭这个接口缓解漏洞。

76010

Lucene&Solr框架之第二篇

前提:域内容需要查询内容多的分,内容少的不分;域内容不需要查询不分。...前提:域内容需要查询索引,不需要查询索引。 比如:商品名称、商品描述分析后进行索引;商品id、订单号、身份证号不用分词但也要索引,这些将来都要作为查询条件。...,不在查询结果页面直接显示,不存储(不存储是指不在lucene的Field域中保存) 使用Field:TextField(FieldName, FieldValue, Store.NO) 如果要在详情页面显示详细的描述内容信息...8.3.1.创建SolrCore 最快的创建即拷贝解压缩包中的例子,拷到Solr工作目录:【C:\mydir\03_workspace\solr】。...8.6.2.Logging Solr运行日志信息 8.6.3.Cloud Cloud即SolrCloud,即Solr云(集群),当使用Solr Cloud模式运行时会显示此菜单,该部分功能在第二个项目

1.6K10
领券