使用Python的MongoDB大容量插入失败

文章/答案/技术大牛

发布

1回答

python、mongodb

我用下面的代码实现了一个简单的批量上传，假设我可以将预设数量的Json文档(也称为ecpDocSorted，这是一个字典)聚合到一个批量列表中，并在收集了5个文档后刷新它。ecpDocSorted包含一个简单的Json结构-所有键/值都没有ids。: ecpDoc = dict(ecpDocSorted) # Insert into MongoDBinto Mongo result =

浏览 35提问于2019-06-14得票数 0

1回答

Python中的Mongodb大容量插入限制

python、mongodb、pymongo、bulkinsert

使用PyMongo可以大容量插入的文档数量有限制吗？我指的不是MongoDB的16mb文档大小限制，而是我希望通过Python批量插入的文档列表的实际大小。

浏览 0提问于2013-05-26得票数 4

回答已采纳

1回答

如何使用InsertBatch使用MongoDB C#驱动程序捕获成功/失败/非尝试？

c#、mongodb、mongodb-.net-driver

当出现错误时，该方法会抛出一个异常，我无法判断哪些记录被插入，哪些插入失败，哪些文档未被尝试。var myObjects = new List<MyObject>();myObjects.Add: {0}", result.Ok);示例，包含两个成功插入、一个失败、一个未尝试的 var myO

浏览 0提问于2014-10-21得票数 0

2回答

禁用MongoDB中的主键索引，并在大容量安装后启用它？

java、performance、mongodb、bulkinsert

是否可以在MongoDB中禁用主键索引并在大容量插入后启用它？其原因是在大容量插入时的性能。我在用JAVA。

浏览 5提问于2013-11-03得票数 0

回答已采纳

1回答

MongoDB批量保存等效？

javascript、mongodb

我是一个mongodb，在使用创建与大容量保存等效的(因为我找不到大容量保存操作)时遇到了一些困难。简单地说，给出了一系列文件：我想大容量地插入数组中的文档，使用_id属性作为比较字段，以确定哪些传入记录等同于mongod

浏览 6提问于2014-10-02得票数 3

回答已采纳

1回答

我正在用MongoDB创建一个web应用程序。现在我正在创建管理页面，使管理员能够添加或删除网站上的项目。在页面上，将添加批量导入功能，可以从本地CSV文件导入内容。问题是如何实现该功能。最简单的方法是将上传的CSV文件转换为JSON，然后使用db.items.insert([{...}, {...}, ...])语句插入它们。但是，如果在大容量插入过程中发生错误，该怎么办？因为没有事务，所以插入的

浏览 3提问于2013-04-25得票数 4

回答已采纳

1回答

mongodb 2.6+中的大容量运算可以用作缓冲区/队列吗？

java、multithreading、mongodb

MongoDB从2.6版起就引入了，我检查了API，这对我来说似乎很棒。在这个API之前，如果我需要进行批量插入，我必须将文档存储在一个列表中，它们使用insert()插入整个列表。是否在大容量API中实现了队列/缓冲区？每次我在execute()之前将一些东西放入大容量中，数据就存储在队列/缓冲区中，对吗？因此，我不需要编写自己的队列/缓冲区，只需使用Bulk.insert()或Bu

浏览 4提问于2014-09-12得票数 1

回答已采纳

2回答

使用ActiveRecord的PostgreSQL大容量插入

postgresql、activerecord

我有很多来自MySQL的记录。我对数据进行了修改，以便使用ActiveRecord将其成功插入到PostgreSQL中。我可以很容易地做到这一点，以行为基础的插入，即一次一行。这非常慢，我想进行大容量插入，但如果任何行包含无效数据，则此操作将失败。有没有什么办法可以实现大容量插入，并且只有无效的行会失败，而不是整个大容量？

浏览 1提问于2013-06-07得票数 1

1回答

如何导入文件csv而不使用批量插入查询？

python、mysql、sql、sql-server、csv

我尝试过使用bulk导入文件csv，但是它失败了，还有另一种方法可以在查询中导入csv文件而不使用大容量插入吗？到目前为止，这是我的查询，但它使用大容量插入： 'C:\Inetpub\vhosts\topimerah.org\httpdocs\SNASPV0374280960.

浏览 0提问于2015-06-09得票数 0

回答已采纳

1回答

分片中的InsertBatch

mongodb

如果有人正在写分片集群，那么在大InsertBatch的幕后到底发生了什么？MongoDb是否真的支持批量插入，或者InserBatch实际上是在服务器级别一次插入一个？那么，分片是如何工作的呢？这是否意味着mongos会查看批次中的每个项目，以找出每个项目的分片键，然后将其路由到正确的服务器？如果大容量插入存在并且似乎效率不高，这将中断大容量插入</em

浏览 1提问于2012-02-23得票数 2

回答已采纳

3回答

Mongodb插入5000万个文档而不重复的最佳方法

node.js、mongodb、bigdata

我需要建立一个超过5000万文档的数据库。我使用nodejs和Mongodb服务器运行Ubuntu 18.04 \ 12GO Ram 1333 and \8 Core 16 Thread.我尝试了几种不同的方法，有着不同的表现效果。不幸的是，没有定论！function inser

浏览 2提问于2019-12-22得票数 0

1回答

Pymongo w=1与continue_on_error

mongodb、pymongo

我想在这个集合中插入一个tweet列表。新的列表可能也有一些重复的tweet，我希望确保复制的tweet不会被写入，但其余的都会被写入。为了实现这一点，我使用了以下代码。但是，我看到的行为是第二行生成的DuplicateKeyError。我不知道这是怎么回事，我提到了continue_on_error。我最终想要的是让蒙戈提交所有不重复的文件，并将写到日记的所有文件的推文is还给我

浏览 1提问于2014-01-07得票数 4

回答已采纳

1回答

大容量插入操作处理记录时没有错误

c#、sql-server、bulkinsert

据我所知，使用C#和SQL Server大容量插入数据的最佳方法是使用表类型并传入数据表。我们当前的流程是一次处理/插入一条记录(即使有数千条记录)，这样我们就能够成功地处理有效记录并报告错误。显然，这是一个巨大的性能问题。有没有办法进行大容量插入操作，从而允许插入有效记录而使无效记录失败？如果是这样，您如何找出哪些记录通过，哪些记录

浏览 1提问于2016-04-06得票数 0

1回答

MongoDB共享集群:插入只命中一个碎片

mongodb

我们使用的是一个有6个碎片的集群。文档相当大，我们的chunk-size设置为512 to 。我认为批量插入只追加最后一块，因为插入是有序的。由于负载较重，在<e

浏览 1提问于2014-12-09得票数 2

回答已采纳

1回答

在散装鞋面上提供提示

python、mongodb、mongodb-query、pymongo

是否有方法为MongoDB / Python中的大容量插入提供提示？我想在查询中添加一个提示，比如：Bulk.find(<query>).upsert().update(<update>)。

浏览 3提问于2015-01-12得票数 3

回答已采纳

1回答

MongoDB大容量插入性能

ruby-on-rails、ruby、ruby-on-rails-3、mongodb、mongomapper

我的rails应用程序中有以下代码。10K的项目，我需要为每个项目存储每个用户的评级，大约10^8条记录。2, rating: 3.5},]UserItem::Rating.collection.insert(ratings)UserItem::Rating.create(ratings) 但要把10^8的记录插入蒙戈需要几个小时有没有更好

浏览 0提问于2013-07-14得票数 0

回答已采纳

2回答

mongodb大容量更新/插入

mongodb、mongodb-java

我们通过heroku/mongolab运行mongo-2.4，它不支持2.6的生产 // 1.builder.insert(new BasicDBObject("_id", 3)); 但是，我不能升级到2.6和2.4不支持批量插入如果我一次插入一个文档，可能会出现性能/缩放问题。

浏览 2提问于2014-08-04得票数 0

回答已采纳

2回答

MongoDB批处理更新性能问题

mongodb

我知道MongoDB支持批处理插入，但不支持批处理更新。我知道这是一个可怕和不安全的解决方案，但这是我能够达到所需性能的唯一

浏览 3提问于2014-06-03得票数 2

回答已采纳

1回答

MongoDb大容量操作获得id

c#、mongodb、mongodb-.net-driver、bulkinsert、mongodb-csharp-2.0

我想通过MongoDb执行批量操作。如何获得之后将返回的it数组？更新:我找到了以下解决方案-保存mongo集合的最大ObjectId， db.col.find().sort({_id:-1}).limit(1).pre

浏览 6提问于2015-07-30得票数 4

回答已采纳

1回答

如何大容量插入SQLAlchemy子类(联合继承)

python、sqlalchemy

我试图将SQL-Alchemy子类大容量插入到父表及其相应的表中，即水果表、-> Apple，因此我插入了一个APPLE的表，它将将这两个行插入到水果表中，然后给我水果表中该行的id，并将其放在Apple每次插入一行时使用，但由于性能原因，我需要它与大容量插入一起工作。我尝试过大容量插入失败，并且尝试了单

浏览 0提问于2019-07-18得票数 0

回答已采纳

点击加载更多