问优化Solr DataImportHandler设置以实现完全导入速度
EN

Stack Overflow用户

提问于 2013-12-13 17:04:04

回答 1查看 794关注 0票数 2

我已经使用DataImportHandler2设置了Solr服务器。使用我当前的设置，一个完整的导入需要8-9小时。我想优化设置，以减少时间，但文档并不十分清楚各种设置做什么以及它们有什么副作用。

服务器是一个m2.2xLargeAWS实例(34.2GBRAM)。Solr版本为3.6.1.2012.07.17.12.45.52。Solr在Tomcat 7.0.30上运行。Tomcat正在与-Xms4096m -Xmx28672m一起运行。

从solrconfig.xml，mergeFactor是10，useCompoundFile是假的。在data-config.xml中，autoCommit为true，batchSize为-1。DataImportHandler使用的查询返回600万条记录。

回答已采纳

发布于 2013-12-13 17:48:25

在查看mergeFactor等人之前，您应该先看看db-data-config.xml中的实体。如果在其他实体中有实体，这些实体将生成大量sql请求。您需要使用sql来不执行内部实体，或者查看CachedSqlEntityProcessor等。

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/20572038

复制

相似问题

问优化Solr DataImportHandler设置以实现完全导入速度EN