Loopback -包含大量记录的批量插入

文章/答案/技术大牛

发布

1回答

node.js、postgresql、loopbackjs

当批量插入大量记录时，我当前遇到内存使用问题。我尝试从外部API获取数据，将其格式化为一个与我的一个表的结构相匹配的数组，然后在我的模型上使用create方法插入该数据。有没有一种回送的方法来排队插入记录(这样它们就可以插入成块)，这样我就不会杀死我的服务器了？如果不用再纠结于计时器之类的东西那就太好了。 Postgres是我<

浏览 8提问于2018-01-04得票数 0

1回答

使用dotConnectForPostgreSQL大容量插入

devart、dotconnect

通过使用来自PostgreSQl的dotConnectForPostgreSQL提供程序，我们是否有任何批量复制或批量插入机制？我试图通过使用PostgreSQl从xlsx插入数据(包含大量记录的多个表)到c#。但在德瓦特没有找到合适的方法。批量插入在NpgSQL中是可用的，但我不希望使用Npgsql来避免与驱动程序相关的问题(为日期、时间字段指

浏览 5提问于2022-11-18得票数 0

4回答

批量插入大量记录

php、mysql、laravel、laravel-4、eloquent

我尝试从sql表A中检索数据，修改一些列，然后将修改后的列插入到sql表B中。然而，我的问题是，当我使用： $fakecustomer= new Fakecustomer; );它只能插

浏览 0提问于2014-07-04得票数 0

1回答

入站REST服务中记录的数组的顶点批处理类

rest、batch-file、salesforce、apex、bulk-load

我必须每天每晚批量插入大约80K条记录。我在考虑使用REST服务来获取数组中的记录，并创建一个批处理顶点来将它们插入到Salesforce中。我不会得到CSV，这是毫无疑问的。我是否可以在批量顶点开始方法中迭代数组的记录，以批量处理它们？这是正确的方法吗？有没有更好的方法来获取大量记录并批量处理它们？

浏览 1提问于2017-08-16得票数 0

1回答

缓慢加载sql脚本数据

mysql、mysqldump

我有大量SQL数据的多个文件。我怎样才能加快剧本的速度？我知道，对多个记录使用单个insert将大大加快脚本的速度，但这将要求我解析这些文件(它们已经作为每个记录的单个SQL插入提供给我)。是否有任何参数或标志告诉mysql批量<em

浏览 2提问于2013-12-24得票数 0

回答已采纳

1回答

ActiveRecord:：StatementInvalid: Mysql2:：Error:关闭MySQL连接

mysql、ruby-on-rails、delayed-job

我试图在MySQL中批量插入500万条记录，但得到了ActiveRecord::StatementInvalid: Mysql2::Error: closed MySQL connection错误。我正在使用延迟的作业来批量插入500万条记录到数据库中。出于测试目的，我点击了5个HTTP请求，每个请求都包含将100万条记录批量插入数据库的请求，因此总共有500万条记录</e

浏览 1提问于2015-12-07得票数 0

1回答

实体框架批量插入相关实体

entity-framework、dbcontext

如何处理具有大量相关实体的实体的快速批量插入并维护关系。例如，我需要插入一个具有50,000条记录的Person。

浏览 0提问于2018-10-09得票数 0

1回答

当记录包含BLOB时，ODP.net参数数组插入的性能较差

oracle、blob、odp.net

我使用ODP.net参数数组实现记录的批量插入。当记录不包含BLOB列时，这种方法执行得非常好-通常一秒钟可以插入大约10,000条记录。如果一条记录包含BLOB列，那么它的性能就很差--大约1000条记录需要8个sscond。有没有方法可以有效地批量插入包含BLOB列的记录？

浏览 0提问于2012-07-30得票数 0

回答已采纳

1回答

使用节点JavaScript将批量数据插入MySQL

mysql、node.js、node-mysql

我正在尝试从SQL server获取数据并插入到MySQL中。我已经拿到了1lac的记录。记录的获取是正确的，但是在将记录插入到MySQL中的过程中，它不会立即插入数据。我需要刷新MySQL才能看到新记录。

浏览 1提问于2015-12-01得票数 0

1回答

在“大容量日志恢复模型”中，“散装”的技术含义是什么?为什么是这个名称？

sql-server、terminology、recovery-model

在该模型中，存在某些批量操作，如批量插入、创建索引、选择INTO等。在事务日志中没有完全记录，因此在事务日志中占用的空间不多。据我所知，大容量日志恢复模型并不能完全记录大量事务。那为什么它是这样命名的？

浏览 0提问于2018-10-10得票数 0

1回答

是否可以同时从Loopback插入具有多个型号的多条记录？

node.js、loopbackjs

假设我有一个Post对象，它在Loopback、post、Tags和RelatedTopic中分为几个模型。帖子有许多标签，每个标签都有许多RelatedTopic，我想使用相同的创建方法插入多个带有标签和RelatedTopic的帖子？我找到了有关插入和记录的链接，但我不确定是否可以使用一个create方法插入多个记录，每个记录包含多个模型，还是应该逐个创建每个记录？我上一次使用

浏览 0提问于2017-10-27得票数 0

1回答

当模型是嵌套集合时，如何在数据库中执行大容量插入？

ruby-on-rails、bulkinsert、nested-set-model

我有一个涉及嵌套集合数据结构的模型，所以我使用了act_as_nested_set gem。现在，我需要批量插入超过100,000条记录。如果不是嵌套的集合数据结构，批量插入可能会更容易、更快捷。但是对于嵌套的set，每次插入都会更新祖先链中的所有记录。所以，这花费的时间太长了。我想过在内存中创建树，并维护lft、rgt、深度、children_count、深度，然后大量<

浏览 73提问于2019-07-05得票数 0

1回答

使用Java进行批量插入的最佳方法是什么？

java、spring、hibernate、insert、bulk

例如，我试图在一个表中插入100条记录，耗时8，5秒。阅读论坛，我发现了，它说Spring不能正确地执行批量插入。我如何使我的应用程序更快？我希望使用大小类似于1000或1000以上的批量</

浏览 7提问于2013-07-21得票数 1

1回答

MongoDB中的多个批量插入-性能

java、mongodb、bulkinsert

我了解常规插入和bulk inserts之间的性能提升。我的问题是，如何最好地执行多个批量操作，其中每个操作插入大量(至少15000条)记录。或者，有没有更好的方法来做到这一点？

浏览 0提问于2016-05-30得票数 0

1回答

我有一个应用程序开发使用Laravel5.2和雄辩的ORM。应用程序连接到MS SQL Server以读取/写入数据。我遇到了性能问题，应用程序有时会减慢“页面需要5+秒来响应”。下面是一个用了大约1600 is才能完成的查询示例。(1600 and包括持久化和网络延迟。)由于有大量的数据被插入，我认为PDO需要很长时间来准备语句，这导致了一个简单的事实，即这里有36行正在准备。下面是另一个简单的查询，它需要超过1300 MS才能返回1行，该查询在中执行时在

浏览 6提问于2016-06-23得票数 1

4回答

如何在linq to sql中批量插入/更新？

c#、.net、linq-to-sql、asp.net-mvc-2

record ( dbcontext.ProductTable.insertOnSubmit()) }因此，现在我尝试加载一个包含大量记录的首先，我一次验证一个记录。然后，我希望将它们插入到数据库中，但不是在每条记录之后执行submitChanges()，而是在最后执行一次批量提交。循环包含在xml文件中找到的所有<

浏览 0提问于2010-05-09得票数 2

回答已采纳

2回答

根据任何列插入或更新

mysql、bulkinsert

我的问题是关于批量insert+update，我希望插入大量数据，并按特定列更新相同的数据，而不是同时按主键更新。所以我不能使用INSERT...ON DUPLICATE KEY UPDATE。第一次批量插入，我添加新的人，但不想要具有相同名称的新记录，只需更新其其他信息(电话和安全号码)另一插入操作，我添加新的人，但不想要具有相同电话号码的新记录，只更新其名称和安全号码。

浏览 1提问于2013-08-22得票数 1

1回答

在高性能的应用程序中直接加载表是否更好？

ruby-on-rails、ruby-on-rails-3、rails-postgresql、postgresql-9.3

我在Rails 3.2应用程序中使用PostgreSQL，它整天接收第三方的更新。有时，这个第三方每分钟会向我的应用程序发送超过2,000个请求，每次更新都由一个大型XML文件组成。现在，我正在将每个XML文件中的基本信息存储到一个表中。然后，后台进程将获取该表中的大量数据，并使用PostgreSQL的COPY特性将数据复制到表中。我在这里做得对还是做错了？这个表，即load目标，也是UI的主要CRUD目标。当加载发生时，COPY特性是否锁定整个表，我是否应该执行一堆

浏览 0提问于2014-10-11得票数 0

回答已采纳

1回答

使用Server，如何在大量插入CSV文件期间手动设置给定列的值？

sql、sql-server、csv

每个文件都是在给定的日历日生成的，因此，例如，我可能在10/8/13中有一个包含20,000条记录的文件，在10/9/13中有一个包含50,000条记录的文件，等等。所有这些CSV数据都需要导入到Server表中，但我为RecordDate添加了一个列，该列需要设置为生成记录之日的值。总共有14个CSV文件，所以我不介意运行14个批量插入操作

浏览 2提问于2013-10-29得票数 0

回答已采纳

2回答

教义清晰和多对一关系

php、symfony、doctrine-orm、many-to-one

我需要从csv文件中导入大量数据(大约100万条记录)。为了避免内存泄漏，我尝试从理论文档中批量插入：for ($i = 1; $i <= 10000; ++$i) { }$em->clear(); 问题是，我的</e

浏览 6提问于2016-01-13得票数 1

回答已采纳

点击加载更多