我已经为mongoDB数据迁移编写了一个node.js脚本(大约100万条记录)。我正在插入的集合已经有400万条记录。我的目标是从集合A和集合B获取数据，对其进行处理，然后将其转储到集合C。应该插入了700k条记录，但实际上只插入了200k条。我将批处理大小减少到1000，然后插入了所有70万条记录。我将批处理大小增加到3000，并将记录迁移到一个初始记录为0的
浏览 14提问于2020-04-26得票数 0
我需要从nodejs在mongodb中插入一个大的对象数组(大约150-200万)。我如何改进我的插入？
浏览 0提问于2014-05-29得票数 7
回答已采纳
1回答
我使用bulkWrite操作(Java Driver 3.12)将大量文档插入到Mongo DB中。我还实现了一个重试机制，以防连接中断。但在随后的重试中存在一个问题:由于在先前的尝试中插入了一些文档，因此后续的尝试将导致Duplicate Key error private ReactiveMongoOperations
浏览 5提问于2020-04-16得票数 0
3回答
我们有一个php服务，需要非常快地记录数据(每秒处理1000个客户端)。其中每一个都向日志中写入一条记录。因此每秒1000次写入)，然后将记录的数据近乎实时地发送到另一个服务。我们使用的是AWS。我们是否应该使用数据库(同步写入会阻塞php请求，不是吗？)我们应该使用像amazon SQS这样的解决方案，还是使用其他任何amazon解决方案？因此，根据人们的建议，我们看到了一些可能的解决方案: 1.使用亚马逊kinesis的No
浏览 1提问于2015-05-08得票数 0
嗨，我需要向mongodb插入大约100,000条记录。我正在使用BulkWriteOperation接口插入一批记录。我拆分了整个页面，并将1000条记录插入到mongo中。如果批次中的任何一条记录插入失败，那么整个批次都不会被插入到mongo。有没有办法单独获得失败批处理的记录列表，这样我就可以进行递归并将剩余的记录插入到mongo中。或者有没有办法批
浏览 2提问于2016-01-14得票数 3
我正在努力使用MongoEngine进行批量插入。我可以很容易地使用循环执行.save()来写入数据库，但是我在MongoEngine文档中找不到执行批量插入的过程。唯一提到的是SO：。我尝试过这样做，但我只是插入所有文档，而没有在Schema中验证它们。这是我的代码：me.connect(host='CONNECTION_STRING'
浏览 0提问于2017-12-30得票数 1
我想知道用Node.js对Mongodb进行批量插入(尽管可能是其他数据库)的正确方法是什么？我已经编写了下面的代码作为示例，尽管我认为它是泛泛的，因为db.close()可能会在所有异步collection.insert调用完成之前运行。MongoClient.connect('mongodb://127.0.0.1:27017/test', function (err, db) {
var i, collection;
浏览 10提问于2015-12-30得票数 20
回答已采纳
下面的代码片段生成一个包含3000条记录的BsonDocument列表。{ "field2", 2 }, { "field4", 4 }}
下面的代码插入所有记录一次我需要使用InsertMany操作在Mongodb中批量插入这3000条记录(每批10条记录)。感谢任何人能
浏览 6提问于2022-07-26得票数 0
回答已采纳
1回答
插入操作：Requests per second: 1323.44 [#/sec] (mean)
读操作：Requests per second: 352.08 [#/sec] (mean)
浏览 1提问于2014-01-13得票数 0
我需要使用mongoDB批量更新方法更新集合中的3000+批量记录，但它一次只能插入一条记录。
我需要作为批量插入。
浏览 0提问于2018-11-30得票数 1
我对MongoDB非常陌生。试图理解在MongoDB中执行批量写入的最佳选项。我想定期刷新我的应用程序集合。文档的关键是AppID、AppName和AppStatus。如果不存在，则执行插入(如果存在)，只更新AppStatus键的值。mongoTemplate.getDb().getCollection("Application")；列表applist = getAppList()；// List包含所有的应用程序私有最终MongoClient；
浏览 3提问于2021-04-14得票数 1
回答已采纳
1回答
我是一个mongodb，在使用创建与大容量保存等效的(因为我找不到大容量保存操作)时遇到了一些困难。简单地说，给出了一系列文件：我想大容量地插入数组中的文档，使用_id属性作为比较字段，以确定哪些传入记录等同于mongodb中的记录。在伪代码中，我希望mongodb按以下方式批量插入：
if(inco
浏览 6提问于2014-10-02得票数 3
回答已采纳
另外，为了提高速度，我将3000个插入一起放到每个插入中 _ 很多人。 诀窍是我在一些行中有一些坏数据，而我还没有弄清楚它在哪里。所以我所做的就是尝试/除了插入 _ 许多文档，然后我再次尝试插入这3000个文档，但一次一个，放在另一个Try/Except中。然后，我可以只对有错误的行执行pprint.pprint。
浏览 105提问于2021-03-01得票数 0
回答已采纳
MongoDB版本3.6.7、mongoDB node.js驱动程序版本3.1.10。 有一个函数，它应该在批量无序操作中将一些数据添加到数据库中。当调用bulk.execute()时，数据被插入到DB中，就像手动检查的那样，但是不会返回应该作为执行结果生成的bulkWriteResult对象。 我们需要在其他函数中使用它来确定插入的数量等。因此，当有问题的函数在其他函数中链接时，它会返回undefined，当添加bulk.execute().then(console.log)时，终端中
浏览 39提问于2019-01-07得票数 0
回答已采纳
4回答
低延迟读写的持久性策略
、、、、
我正在构建一个应用程序，它包含了一个功能，可以对数百万条记录进行大量标记，或多或少是交互的。用户交互非常类似于Gmail，在Gmail中，用户可以标记单个电子邮件，或者批量标记大量电子邮件。现在，我们使用Mysql，并为每个标记文档对插入一行。将数百万行写入Mysql需要一段时间(高I/O)，即使是批量插入和繁重的优化。我们需要这是一个互动的过程，而不是一个批处理过程。因此，总括而言，以下是我们的要求：
潜在数千万条记录的低延迟大容量写入
浏览 1提问于2009-11-19得票数 4
回答已采纳
使用带有mongoid适配器的Rails3和mongoDB，我如何批量查找mongo DB？我需要获取特定mongo DB集合中的所有记录，并在solr (用于搜索的初始数据索引)中对它们进行索引。我遇到的问题是，执行Model.all会抓取所有记录并将它们存储到内存中。然后，当我在solr中对它们进行处理和索引时，我的内存就会耗尽，这个过程就会终止。我正在尝试做的是在mongo中批量查找，这样我就可以一次迭代超过1000条记录，将它们传递给solr进
浏览 2提问于2011-08-12得票数 42
回答已采纳
我正在尝试从Flux插入java对象，并为每个对象生成响应，无论成功与否。此外，一些对象被写入数据库，但它们不会被修改为具有生成的ids。我知道可以通过在多文档事务中插入(需要一个副本集来进行简单的集成测试)或generating _id values myself (需要查询插入的值，或者假设错误导致后续项无法写入)来替代解决方案，但我想知道这里是否有更干净的错误处理方法
浏览 27提问于2019-12-31得票数 1
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
