我需要在10秒钟内将10,000个文档插入marklogic。
我用以下方式在一个单节点marklogic服务器上进行了测试:
xdmp:spawn
将文档插入任务传递给任务服务器;xdmp:document-insert
而不显式指定森林;CPF
。性能非常差:完成10,000个文档的创建需要2分钟。如果我在集群环境中测试它,我肯定性能会更好,但我不确定它能否在10秒内完成。
请建议提高性能的方法。
发布于 2014-07-01 15:10:46
我首先要收集更多的信息。这是什么版本的MarkLogic?它运行在什么操作系统上?CPU是多少?拉姆?存储子系统是什么?有多少森林附在数据库上?
然后收集OS级别的度量,看看其中一个子系统是否是一个明显的瓶颈。就目前而言,我不会在此之外进行推测。
发布于 2014-07-01 15:41:32
如果您需要快速加载,我不会对每个单独的文档使用xdmp:派生,也不会使用CPF。但是对于10k的文档来说,2分钟的时间听起来不一定很慢。另一方面,我已经达到了3K/秒,但没有范围索引,转换,无论如何。和一个非常快的磁盘(例如ssd)。
哈哈!
发布于 2014-07-01 21:51:30
假设2套接字服务器,128 IO 256 IO的ram,快速IO(400-800 IO/秒持续)
打开perf历史记录,查看度量,您将看到瓶颈所在。
SSD不是必需的-只是IO throughput...which多个旋转磁盘提供没有问题。
https://stackoverflow.com/questions/24513147
复制相似问题