Python中的SQL大容量插入

文章/答案/技术大牛

发布

1回答

SSIS insert大容量是否与大容量插入相同

sql-server、ssis

我正在使用SSIS包(不是我构建的)将CSV文件批量插入到SQL Server2005中insert bulk [dbo].[stage_dht]( ..... ) 但是该语句中没有FROM子句，所以我很好奇它是如何获取数据的，这种所谓的快速加载是将数据大容量加载到SQL中的最佳方式吗？

浏览 3提问于2009-05-13得票数 5

回答已采纳

1回答

如何使用python 3更快地将批量csv数据插入SQL Server

python、sql-server、python-3.x、pandas

操作系统: Windows语言: Python 3 只有一列的csv文件： Column110000DBC29GH10120ANC39LH .在服务器上的一个文件夹中。我需要将这个CSV值放到另一台服务器(而不是放置Column1文件的服务器)上的SQL Server表中。我已经用Pandas做到了这一点，但问题是它非常慢。这意味着我在2.3分钟内插入了3000条记录。这将不

浏览 93提问于2021-11-04得票数 0

1回答

python、sql-server、csv、pyodbc、bulkinsert

我有一个Python脚本，可以导入Excel数据，格式化一些列/行，并将结果保存为CSV。然后将此CSV移动到服务器目录(通过脚本)，这样我就可以运行SQL批量插入查询，将其内容填充到SQL表中。但是，我的脚本在保存CSV时会将当前日期附加到文件名中。如何编辑代码的大容量插入部分，以确保每次运行脚本时它都会捕获这个文件名，这样我就不必手动编辑SQL部分了？以下是我

浏览 12提问于2020-09-15得票数 0

回答已采纳

1回答

使用Python而不使用pyodbc将数据大容量装载到SQL* Server的最佳方法*

python、sql-server

我想将数据从我们的云环境(pivotal cloud foundry)加载到SQL Server中。数据从API获取并保存在内存中，我们使用tds将数据插入到SQL Server中，但在文档中我看到的使用批量加载的唯一方法是加载文件。我不能使用pyodbc，因为我们在云环境中没有odbc连接。如何从字典中直接进行大容量插入？ pytds不直接提供

浏览 0提问于2019-12-06得票数 0

1回答

是否有任何选项可以使用实体框架( server 2008 r2目标)对多个相关表进行大容量插入？

sql-server、sql-server-2008、entity-framework、entity-framework-4、bulkinsert

有一些现有选项可用于对带有EF实体的单个表进行大容量插入。具体来说，和使用。生成PK，并在插入前设置FK(在这个场景中，我们知道没有其他东西同时插入)，然后执行这两个插入的

浏览 2提问于2011-12-18得票数 3

回答已采纳

1回答

Python和SQL大容量插入

python、.net、sql-server、ironpython、sqlbulkcopy

我正在使用IronPython创建数据数组，并且需要将此数组插入到MS SQL Server中。我使用的.Net类是SqlBulkCopy (System.Data.SqlClient的一部分)。我发现这篇StackOverflow文章非常有用，import clr clr.AddReference('System.

浏览 0提问于2012-12-27得票数 4

回答已采纳

1回答

使用SQL身份验证时出现批量插入错误

sql-server、ssis、bulkinsert、ssis-2012

使用SQL身份验证时会收到SSIS大容量插入错误，而使用windows身份验证时可以插入数据。大容量插入任务错误:出现以下错误消息：“无法大容量加载，因为文件"C:\BCP\extract_remove_ref.bcp”无法打开。操作系统错误代码3(未能检索此错误的文本。

浏览 1提问于2019-03-18得票数 2

2回答

大容量插入。它到底是什么？

sql-server

我正在为我正在做的一些事情做一些阅读和研究。我知道批量插入是做什么以及怎么做的。虽然我在一个街区。使用sql触发器，您可以在插入时做一些很酷的事情。但是在大容量插入时会发生什么呢。主要是。bulk insert在普通上下文中会做这样的事情吗Insert into ta

浏览 1提问于2014-12-01得票数 0

1回答

在Server 2008中截断后，批量插入中的重复主键？

sql-server-2008、ssis、bulkcopy

我使用SSIS将SQL Server 2008 prod数据库中的数据转储到平面文件，然后使用大容量插入将这些平面文件加载到Server 2008 dev数据库中。SSIS包在大容量插入之前运行截断表语句，但当我运行它时仍然会收到以下错误：“该语句已终止。违反主键约束。无法插入重复键。”为什么在截断后会有一个重复的键？在大容量插入</em

浏览 0提问于2012-08-03得票数 3

回答已采纳

1回答

来自不同位置文件夹的多个csv文件的动态凸包

sql-server、sql-server-2008、sql-server-2005

我有多个csv文件在不同的位置文件夹。我想动态地在SQL服务器中执行大容量插入，这将在单个表中执行大容量插入。我这么做是为了一个CSV文件。有人能帮我吗？

浏览 1提问于2018-05-17得票数 3

回答已采纳

1回答

使用MySQL中的SQL创建大容量插入转储文件

mysql、sql

如何使用SQL语法在不调用mysqldump实用程序的情况下从表中创建大容量insert语句？INSERT INTO mytable VALUES (1,2), (5,5)

浏览 2提问于2012-08-31得票数 0

6回答

.NET实体框架插入与大容量插入

c#、.net、entity-framework

当我使用我的xxxContext对象并向一个表发出几个添加项时，那么SaveChanges()如何将其解析为SQL？它是只循环执行插入到xxx，还是如果有数百行，它是否足够明智地发出一个大容量插入命令？额外的问题:如果它不发出大容量插入，是否有方法强制它这样我的DB性能就不会被单独的插入所破坏？还是大容量到临时表，然后像Ups

浏览 5提问于2013-06-12得票数 11

回答已采纳

1回答

SQL大容量插入

sql、sql-server、bulkinsert

这意味着我在SQL中使用\r\n作为我的ROWTERMINATOR，对吗？101,1,5,3,4,9525,1200,9525,0,0101,1,5,7,3,9094,1300,9094,0,0SET @sql =FROM ' + '''' + @fileName + '

浏览 6提问于2020-02-13得票数 2

回答已采纳

1回答

如何大容量插入SQLAlchemy子类(联合继承)

python、sqlalchemy

我试图将SQL-Alchemy子类大容量插入到父表及其相应的表中，即水果表、-> Apple，因此我插入了一个APPLE的表，它将将这两个行插入到水果表中，然后给我水果表中该行的id，并将其放在Apple每次插入一行时使用，但由于性能原因，我需要它与大容量插入一起工作。我尝试过大容量<e

浏览 0提问于2019-07-18得票数 0

回答已采纳

1回答

我必须从制表符分隔的文本文件构建一个非常大的表(数亿条记录)，这些文本文件是我用解析脚本创建的，因此我知道它是统一和正确的。我希望找到一种方法来实现这一点，而不需要SQL Server使用任何处理能力或磁盘空间来记录事务--如果出现错误，我很高兴批量插入只是终止，而不是尝试将表回滚到某个较早的状态。这有可能吗？我已经在这个问题上进行了广泛的搜索，我发现提到了使用“简单的”恢复模型，但听起来似乎只有在表为空的<

浏览 3提问于2015-02-04得票数 1

1回答

SQL Server大容量插入Ingore或跳过最后一行

sql、sql-server、bulkinsert

我正在使用大容量插入脚本将多个平面文件导入SQL Server----------------------------------- 所以我想做的就是跳过最后一行，或者在大容量插入中删除这些选项之一是可能的吗？

浏览 0提问于2017-08-15得票数 1

1回答

需要大容量插入提示

sql-server-2008-r2、bulkinsert

我需要将一个表数据插入另一个表中。其中不能保证源表具有正确的所有行，其中一些非空字段具有空值。因此，对于这个源表，我需要将所有有效行输入到表中，并找到所有无法插入和返回它们的无效行。但是由于这是一个来自csv的批量插入，并由.net代码解析，所以我们不会从db验证它，而是直接输入。我们也可以通过运行循环来做到这一点，但性能可能会受到影响。所以我的问题是，我们可以使用一条语句来插入和跳过有问题的行和

浏览 1提问于2013-08-29得票数 0

3回答

向数据库添加数据的最快方法

sql、sql-server、insert、merge

大家好，我有5个相当大的excel文件(每个800,000行)，我正在导入到一个sql数据库。我已经写了一个工具来做这件事，但我正在从一个电子表格导入一个又一个电子表格的时间，这需要大约15个小时来完成，因为这需要每月一次，我想知道什么是最快的方式做这件事。一次运行所有五个导入，但是运行到不同的临时表并合并它们是否会更快，或者只是更快地插入和更新，而bulk insert会提高速度吗？非常感谢

浏览 1提问于2015-03-06得票数 0

2回答

SQL bulk insert不能将值正确插入到表中

.net、excel、sql-server-2008-r2、sqlbulkcopy

我有一个Excel文件(.xlsx)，我正在尝试将该文件的内容上传到Sql server表中。Iam使用SQL大容量复制来大容量插入数据。数据被插入到表中，但我发现数据没有正确插入。以下是示例Excel数据-以下是Sql大容量复制的代码： string fname = Path.GetFileNam

浏览 2提问于2013-02-03得票数 0

回答已采纳

1回答

使用ADO / OLEDB进行大容量插入/装载

c++、sql、tsql、ado

我在我的cpp代码中使用ADO访问OLE DB服务器。ConnPtr->Close(); catch (_com_error &e) { }有没有人有关于这个话题的建议/资源？

浏览 0提问于2014-06-30得票数 2

点击加载更多

SSIS insert大容量是否与大容量插入相同

如何使用python 3更快地将批量csv数据插入SQL Server