首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >批量插入marklogic的性能问题

批量插入marklogic的性能问题
EN

Stack Overflow用户
提问于 2014-07-01 14:45:24
回答 3查看 310关注 0票数 2

我需要在10秒钟内将10,000个文档插入marklogic。

我用以下方式在一个单节点marklogic服务器上进行了测试:

  1. 使用xdmp:spawn将文档插入任务传递给任务服务器;
  2. 使用xdmp:document-insert而不显式指定森林;
  3. 任务服务器有8个用于处理任务的theads;
  4. 我们启用了CPF

性能非常差:完成10,000个文档的创建需要2分钟。如果我在集群环境中测试它,我肯定性能会更好,但我不确定它能否在10秒内完成。

请建议提高性能的方法。

EN

回答 3

Stack Overflow用户

发布于 2014-07-01 15:10:46

我首先要收集更多的信息。这是什么版本的MarkLogic?它运行在什么操作系统上?CPU是多少?拉姆?存储子系统是什么?有多少森林附在数据库上?

然后收集OS级别的度量,看看其中一个子系统是否是一个明显的瓶颈。就目前而言,我不会在此之外进行推测。

票数 1
EN

Stack Overflow用户

发布于 2014-07-01 15:41:32

如果您需要快速加载,我不会对每个单独的文档使用xdmp:派生,也不会使用CPF。但是对于10k的文档来说,2分钟的时间听起来不一定很慢。另一方面,我已经达到了3K/秒,但没有范围索引,转换,无论如何。和一个非常快的磁盘(例如ssd)。

哈哈!

票数 1
EN

Stack Overflow用户

发布于 2014-07-01 21:51:30

假设2套接字服务器,128 IO 256 IO的ram,快速IO(400-800 IO/秒持续)

  • 适当的森林数量(12个初级或6个初级/6个二级)
  • 8多个线程假设有足够的内核
  • CPF关闭

打开perf历史记录,查看度量,您将看到瓶颈所在。

SSD不是必需的-只是IO throughput...which多个旋转磁盘提供没有问题。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/24513147

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档