大容量插入耗费了大量时间

文章/答案/技术大牛

发布

1回答

python、sqlalchemy

我正在尝试插入大约600个条目。我正在使用ORM，但经过调查和根据文档，核心似乎是最快的。这是我的实现，它花了将近58秒来做插入。我的终端看起来像这样，它正确地执行了INSERT INTO，它需要很长时间才能完成该操作。

浏览 24提问于2021-04-01得票数 0

1回答

在SQL Server 2008中更改超时长度

sql-server、sql-server-2008

我使用所有变量类型作为varchar(max)执行大容量插入，因为我尝试执行的每个其他插入(当然，这些不是使用大容量插入，但是使用右击数据库名称，导入数据的IS组件)都会收到截断错误。现在，当我尝试转换成我需要的数据类型时，我得到一个超时过期的错误，告诉我这个过程花费了太长的时间。如何更改SQL Server的超时时间？

浏览 4提问于2012-07-27得票数 2

回答已采纳

1回答

如何在windows 8应用程序中使用sqlite大容量插入？

windows-8、sqlite、microsoft-metro、windows-store-apps、winrt-xaml

我想在windows 8应用程序中使用sqlite大容量插入。现在，我一次插入一行，处理大量行需要大量的时间。有人能帮我吗？罗希特

浏览 0提问于2013-09-28得票数 0

回答已采纳

1回答

mysql太多索引键

mysql、database

我致力于数据库优化，在每隔15分钟从.csv文件(约3800条记录)中插入大量内容。改变忽略表pb添加唯一的索引(恩，时间)；错误1069 (42000)：指定的键太多；允许最多64

浏览 2提问于2015-07-13得票数 0

回答已采纳

1回答

Server 2008:批量插入要花费很长时间

sql、sql-server、sql-server-2008

我正在执行一次大容量插入操作，将数据从.txt文件获取到一个表(该表(结构)已经在数据库中创建)。我不知道为什么批量插入要花很长时间。对于在哪里/什么/如何检查是什么导致这个操作花费了很长时间，有什么建议吗？谢谢。我以前也这么做过，以前也很好。有什么原因吗？

浏览 0提问于2012-05-07得票数 0

1回答

在“大容量日志恢复模型”中，“散装”的技术含义是什么?为什么是这个名称？

sql-server、terminology、recovery-model

在该模型中，存在某些批量操作，如批量插入、创建索引、选择INTO等。在事务日志中没有完全记录，因此在事务日志中占用的空间不多。据我所知，大容量日志恢复模型并不能完全记录大量事务。那为什么它是这样命名的？

浏览 0提问于2018-10-10得票数 0

1回答

给BatchSize和不给BatchSize OracleBulkCopy有什么区别？

c#、sql、oracle、ado.net、sqlbulkcopy

谁能给出使用和不使用BatchSize在中的性能和行为的区别吗？目前，我没有指定BatchSize。我的BatchSize可能在100到200000之间。请建议最好的方法。{ from table in orgTable.Columns.Cast<DataColumn>() new OracleBulkCopyColumnMapping(table.ColumnName, table.ColumnName); using (var bul

浏览 8提问于2012-12-09得票数 1

1回答

大容量插入期间删除/重新生成索引

sql、sql-server-2005

我有表，其中有超过7000万条记录；我刚刚发现，开发人员在大容量插入之前删除索引，然后在大容量插入结束后再次创建。存储过程的执行时间将近30分钟(执行删除索引，执行大容量插入，然后从头开始重新创建索引)。在大容量插入之前不删除索引有助于提高性能吗？在大表中执行大容量插入时应遵循的最佳做法是什

浏览 2提问于2011-08-05得票数 3

3回答

将简单恢复模型改为批量登录ETL系统是个好主意吗？

sql-server、sql-server-2008、backup、recovery、etl

我们有一个ETL进程，它将大量数据插入到表中。该数据库被设置为简单恢复模型，事务日志正在大量增长。我在想，将这个数据库设置为大容量日志恢复模型会有帮助吗？我们每天都要进行全面备份。那么，与简单恢复模型相比，是否存在一些未登录大容量日志恢复模型的操作？

浏览 0提问于2012-02-17得票数 5

回答已采纳

2回答

修复sql文件是个好主意吗？

sql-server、transaction-log

浏览 0提问于2014-11-06得票数 1

1回答

SSIS insert大容量是否与大容量插入相同

sql-server、ssis

我正在使用SSIS包(不是我构建的)将CSV文件批量插入到SQL Server2005中insert bulk [dbo].[stage_dht]( ..... ) 但是该语句中没有FROM子句，所以我很好奇它是如何获取数据的，这种所谓的快速加载是将数据大容量加载到SQL中的最佳方式吗？

浏览 3提问于2009-05-13得票数 5

回答已采纳

2回答

JPA:在元素集合中批量插入记录

java、sql、jpa、eclipselink、persistence

有办法将值大容量插入列表元素集合中吗？CollectionTable(name="file_tags") .....我需要向大量的文件(数十万)添加一个标签列表.这就是为什么我在寻找一种大容量插入的方法.我搜索到现在还没有结果。

浏览 8提问于2020-05-18得票数 0

回答已采纳

1回答

在使用大容量收集时设置限制值

oracle、plsql、plsqldeveloper、oracle11gr2

我想知道我们是否有任何技术可以计算需要为批量收集操作的限制子句设置的值。例如，让我们假设我们的游标有1,000万records..What，这是我们可以为限制子句设置的值，以获得最佳的性能。我们能不能计算一下。cursor c_emp is <some select query> open c_emp; fetch c_emp bulk collect into var limit 2; exit when c_emp%NO

浏览 2提问于2016-07-29得票数 2

回答已采纳

2回答

BizTalk SQL批量插入和选择-最佳方式

sql-server、azure、biztalk

我有一个要求，我收到一个20 MB的CSV文件，其中有20000条记录，我需要插入到一个SQL Server表，并需要运行一个存储过程，这将做一些比较，并给出文件记录，我将发送作为输出！我的问题是:从BizTalk和SQL的角度来看，直接批量插入到SQL Server表中是可取的，还是应该使用基于性能的存储过程？敬请指教！

浏览 5提问于2021-07-03得票数 0

1回答

是否有任何选项可以使用实体框架( server 2008 r2目标)对多个相关表进行大容量插入？

sql-server、sql-server-2008、entity-framework、entity-framework-4、bulkinsert

有一些现有选项可用于对带有EF实体的单个表进行大容量插入。具体来说，和使用。生成PK，并在插入前设置FK(在这个场景中，我们知道没有其他东西同时插入)，然后执行这两个插入的大容量插入(如果有必要，在父插入期间关闭ID

浏览 2提问于2011-12-18得票数 3

回答已采纳

4回答

如何禁用innodb中的索引

mysql、indexing、innodb

我试图通过临时禁用InnoDB表中的索引来加快大容量插入：但是它给出了一个警告我们如何加快这一进程？

浏览 18提问于2012-03-01得票数 42

2回答

如何在JDBC中选择最佳批次大小？

java、sql、jdbc、sqlyog

我有一个CSV文件，其中有50000个条目，我想使用JDBC中的批处理在SQL中导入这些条目。

浏览 3提问于2021-02-24得票数 7

回答已采纳

1回答

在postgresql中，临时表更新比普通表要慢。

postgresql

下面是这个场景在会话中为每个会话创建临时表，第一次创建临时表，然后继续执行插入、更新和删除操作，直到会话结束。首先插入行，然后根据正在更新的其他列。但与norma表相比，更新速度慢。我通过替换临时表来检查性能，而普通表大约需要50到60分钟，而临时表花费了近5分钟。我尝试了对临时表进行分析，然后得到了改进的性能。当im使用分析时，更新在50秒内完成。i也尝试了类型，但没有运气。在用户定义的类型中，没有人可以帮助提高temp表的性能，而不需要分析或任何替代大容量收集和大容量</e

浏览 3提问于2022-06-02得票数 0

1回答

简单-salesforce大容量插入不能按预期工作。

python-3.x、salesforce、simple-salesforce

我试图使用simple-salesforce库将大量记录插入到Salesforce中。当我一次尝试使用一张记录的upsert时，它是有效的：根据，以下大容量插入代码应该可以工作：但是，我得到了以下错误： TypeError: upsert() got an un

浏览 2提问于2020-10-19得票数 2

回答已采纳

3回答

如何超级快速地插入100,000个父行，每个父行有200个子行？

java、database、jpa

插入1000 OrderEvents大约需要30秒。有没有办法把时间缩短到2分钟以下？

浏览 1提问于2019-03-29得票数 2

点击加载更多