腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9808)
视频
沙龙
1
回答
Node.js
MongoDB
批量
写入
未
插入
所有
记录
、
、
我已经为
mongoDB
数据迁移编写了一个
node.js
脚本(大约100万条
记录
)。我正在
插入
的集合已经有400万条
记录
。我的目标是从集合A和集合B获取数据,对其进行处理,然后将其转储到集合C。应该
插入
了700k条
记录
,但实际上只
插入
了200k条。我将批处理大小减少到1000,然后
插入
了
所有
70万条
记录
。我将批处理大小增加到3000,并将
记录
迁移到一个初始
记录
为0的
浏览 14
提问于2020-04-26
得票数 0
2
回答
在
mongodb
中从nodejs
插入
一个大的对象数组
、
、
我需要从nodejs在
mongodb
中
插入
一个大的对象数组(大约150-200万)。我如何改进我的
插入
?
浏览 0
提问于2014-05-29
得票数 7
回答已采纳
1
回答
如何处理Mongo重试中的“重复错误”
、
、
我使用bulkWrite操作(Java Driver 3.12)将大量文档
插入
到Mongo DB中。我还实现了一个重试机制,以防连接中断。但在随后的重试中存在一个问题:由于在先前的尝试中
插入
了一些文档,因此后续的尝试将导致Duplicate Key error private ReactiveMongoOperations
浏览 5
提问于2020-04-16
得票数 0
3
回答
在服务之间编写和传输事件(AWS)
、
、
、
我们有一个php服务,需要非常快地
记录
数据(每秒处理1000个客户端)。其中每一个都向日志中
写入
一条
记录
。因此每秒1000次
写入
),然后将
记录
的数据近乎实时地发送到另一个服务。我们使用的是AWS。我们是否应该使用数据库(同步
写入
会阻塞php请求,不是吗?)我们应该使用像amazon SQS这样的解决方案,还是使用其他任何amazon解决方案?因此,根据人们的建议,我们看到了一些可能的解决方案: 1.使用亚马逊kinesis的
No
浏览 1
提问于2015-05-08
得票数 0
1
回答
在
mongodb
中处理
批量
插入
失败
、
嗨,我需要向
mongodb
插入
大约100,000条
记录
。我正在使用BulkWriteOperation接口
插入
一批
记录
。我拆分了整个页面,并将1000条
记录
插入
到mongo中。如果批次中的任何一条
记录
插入
失败,那么整个批次都不会被
插入
到mongo。有没有办法单独获得失败批处理的
记录
列表,这样我就可以进行递归并将剩余的
记录
插入
到mongo中。或者有没有办法
批
浏览 2
提问于2016-01-14
得票数 3
2
回答
使用
MongoDB
/PyMongo进行多个同步更新?
、
有没有办法通过PyMongo用一个
MongoDB
查询更新多个文档?
浏览 0
提问于2010-06-30
得票数 11
回答已采纳
2
回答
创建索引
MongoDB
时
这可能是个愚蠢的问题,但我什么时候应该在我的集合上创建一个索引呢?
浏览 0
提问于2014-04-08
得票数 1
回答已采纳
2
回答
如何使用MongoEngine进行大容量
插入
?
、
、
我正在努力使用MongoEngine进行
批量
插入
。我可以很容易地使用循环执行.save()来
写入
数据库,但是我在MongoEngine文档中找不到执行
批量
插入
的过程。唯一提到的是SO:。我尝试过这样做,但我只是
插入
所有
文档,而没有在Schema中验证它们。这是我的代码:me.connect(host='CONNECTION_STRING'
浏览 0
提问于2017-12-30
得票数 1
4
回答
使用
Node.js
将多条
记录
插入
Mongodb
的正确方法
、
、
我想知道用
Node.js
对
Mongodb
进行
批量
插入
(尽管可能是其他数据库)的正确方法是什么?我已经编写了下面的代码作为示例,尽管我认为它是泛泛的,因为db.close()可能会在
所有
异步collection.insert调用完成之前运行。MongoClient.connect('
mongodb
://127.0.0.1:27017/test', function (err, db) { var i, collection;
浏览 10
提问于2015-12-30
得票数 20
回答已采纳
2
回答
MongoDB
添加事件
、
、
有没有可能使用
Node.js
订阅“添加到数据库”事件?数据库目前通过Ruby on Rails填充。谢谢。
浏览 1
提问于2011-08-05
得票数 0
回答已采纳
1
回答
如何使用c#在
mongodb
中
批量
插入
文档(大小为10)
、
下面的代码片段生成一个包含3000条
记录
的BsonDocument列表。{ "field2", 2 }, { "field4", 4 }} 下面的代码
插入
所有
记录
一次我需要使用InsertMany操作在
Mongodb
中
批量
插入
这3000条
记录
(每批10条
记录
)。感谢任何人能
浏览 6
提问于2022-07-26
得票数 0
回答已采纳
1
回答
为什么我在
mongodb
中获得了wield读写性能?
、
、
、
、
插入
操作:Requests per second: 1323.44 [#/sec] (mean) 读操作:Requests per second: 352.08 [#/sec] (mean)
浏览 1
提问于2014-01-13
得票数 0
1
回答
如何使用nodejs在
mongodb
中
批量
更新或升级?
、
、
我需要使用
mongoDB
批量
更新方法更新集合中的3000+
批量
记录
,但它一次只能
插入
一条
记录
。 我需要作为
批量
插入
。
浏览 0
提问于2018-11-30
得票数 1
1
回答
使用
MongoDB
集合bulkWrite
插入
/更新
、
、
、
我对
MongoDB
非常陌生。试图理解在
MongoDB
中执行
批量
写入
的最佳选项。我想定期刷新我的应用程序集合。文档的关键是AppID、AppName和AppStatus。如果不存在,则执行
插入
(如果存在),只更新AppStatus键的值。mongoTemplate.getDb().getCollection("Application");列表applist = getAppList();// List包含
所有
的应用程序私有最终MongoClient;
浏览 3
提问于2021-04-14
得票数 1
回答已采纳
1
回答
MongoDB
批量
保存等效?
、
我是一个
mongodb
,在使用创建与大容量保存等效的(因为我找不到大容量保存操作)时遇到了一些困难。简单地说,给出了一系列文件:我想大容量地
插入
数组中的文档,使用_id属性作为比较字段,以确定哪些传入
记录
等同于
mongodb
中的
记录
。在伪代码中,我希望
mongodb
按以下方式
批量
插入
: if(inco
浏览 6
提问于2014-10-02
得票数 3
回答已采纳
1
回答
PyMongo /
MongoDB
insert_many是否是事务性的?
、
、
另外,为了提高速度,我将3000个
插入
一起放到每个
插入
中 _ 很多人。 诀窍是我在一些行中有一些坏数据,而我还没有弄清楚它在哪里。所以我所做的就是尝试/除了
插入
_ 许多文档,然后我再次尝试
插入
这3000个文档,但一次一个,放在另一个Try/Except中。然后,我可以只对有错误的行执行pprint.pprint。
浏览 105
提问于2021-03-01
得票数 0
回答已采纳
2
回答
MongoDB
bulk.execute() promise既不解析也不拒绝,并且不返回bulkWriteResult
、
、
、
MongoDB
版本3.6.7、
mongoDB
node.js
驱动程序版本3.1.10。 有一个函数,它应该在
批量
无序操作中将一些数据添加到数据库中。当调用bulk.execute()时,数据被
插入
到DB中,就像手动检查的那样,但是不会返回应该作为执行结果生成的bulkWriteResult对象。 我们需要在其他函数中使用它来确定
插入
的数量等。因此,当有问题的函数在其他函数中链接时,它会返回undefined,当添加bulk.execute().then(console.log)时,终端中
浏览 39
提问于2019-01-07
得票数 0
回答已采纳
4
回答
低延迟读写的持久性策略
、
、
、
、
我正在构建一个应用程序,它包含了一个功能,可以对数百万条
记录
进行大量标记,或多或少是交互的。用户交互非常类似于Gmail,在Gmail中,用户可以标记单个电子邮件,或者
批量
标记大量电子邮件。现在,我们使用Mysql,并为每个标记文档对
插入
一行。将数百万行
写入
Mysql需要一段时间(高I/O),即使是
批量
插入
和繁重的优化。我们需要这是一个互动的过程,而不是一个批处理过程。因此,总括而言,以下是我们的要求: 潜在数千万条
记录
的低延迟大容量
写入
浏览 1
提问于2009-11-19
得票数 4
回答已采纳
6
回答
批量
查找
mongoDB
记录
(使用mongoid ruby适配器)
、
、
使用带有mongoid适配器的Rails3和
mongoDB
,我如何
批量
查找mongo DB?我需要获取特定mongo DB集合中的
所有
记录
,并在solr (用于搜索的初始数据索引)中对它们进行索引。我遇到的问题是,执行Model.all会抓取
所有
记录
并将它们存储到内存中。然后,当我在solr中对它们进行处理和索引时,我的内存就会耗尽,这个过程就会终止。我正在尝试做的是在mongo中
批量
查找,这样我就可以一次迭代超过1000条
记录
,将它们传递给solr进
浏览 2
提问于2011-08-12
得票数 42
回答已采纳
1
回答
spring data reactive
mongodb
:在失败的insertAll()之后如何检索生成的ID
、
、
、
、
我正在尝试从Flux
插入
java对象,并为每个对象生成响应,无论成功与否。此外,一些对象被
写入
数据库,但它们不会被修改为具有生成的ids。我知道可以通过在多文档事务中
插入
(需要一个副本集来进行简单的集成测试)或generating _id values myself (需要查询
插入
的值,或者假设错误导致后续项无法
写入
)来替代解决方案,但我想知道这里是否有更干净的错误处理方法
浏览 27
提问于2019-12-31
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
MongoDB数据建模-第三章:查询文档-2.写入操作
开始使用MEVN技术栈开发01 概述
MongoDB技术分享:WiredTiger存储引擎
MongoDB与RDBMS之优势对比
插入大量数据至MongoDB数据库的速度问题分析
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券