在SQL SERVER中大容量插入CSV文件的安全方法
在SQL Server中，插入大容量的CSV文件有以下几种安全方法：
- 使用BULK INSERT命令：BULK INSERT命令是SQL Server提供的一种高效的数据导入方法。它可以将CSV文件的数据快速加载到数据库表中。BULK INSERT命令支持指定数据文件的路径、字段分隔符、行分隔符等参数，以及对数据进行格式化和转换。通过限制对CSV文件的访问权限，可以确保数据的安全性。推荐的腾讯云相关产品是云数据库SQL Server，产品介绍链接地址：https://cloud.tencent.com/product/cdb_sqlserver
- 使用OPENROWSET函数：OPENROWSET函数是SQL Server提供的一种用于访问外部数据源的方法。通过使用OPENROWSET函数，可以直接从CSV文件中读取数据并插入到数据库表中。在使用OPENROWSET函数时，可以通过配置适当的权限和访问控制，确保数据的安全性。
- 使用SSIS（SQL Server Integration Services）：SSIS是SQL Server提供的一种强大的数据集成和转换工具。通过SSIS，可以创建数据导入任务，将CSV文件中的数据加载到数据库表中。SSIS提供了丰富的数据转换和处理功能，可以对导入的数据进行清洗、转换和验证。通过配置适当的权限和访问控制，可以确保数据的安全性。推荐的腾讯云相关产品是数据传输服务DTS，产品介绍链接地址：https://cloud.tencent.com/product/dts
- 使用临时表进行数据导入：可以先创建一个临时表，然后使用BULK INSERT命令或OPENROWSET函数将CSV文件的数据导入到临时表中，再通过一系列的数据处理和验证步骤，将数据从临时表中插入到目标表中。这种方法可以提供更好的数据安全性，因为可以在临时表中进行数据清洗和验证，确保只有符合要求的数据才会插入到目标表中。
总结：在SQL Server中，插入大容量的CSV文件可以使用BULK INSERT命令、OPENROWSET函数、SSIS或临时表等方法。通过合理配置权限和访问控制，可以确保数据的安全性。腾讯云提供的相关产品包括云数据库SQL Server和数据传输服务DTS，可以满足数据导入的需求。
相关·内容
3回答
MS SQL大容量插入
sql-server、bulkinsert、bulk-load
我需要在我的MS数据库中插入一个大的2 GB CSV文件。此表中的大多数行都不需要插入。在执行大容量插入时，我找不到任何可以筛选行的内容。我正在使用MS SQL bulk insert命令来执行此操作。在bulk insert时，有没有在mySQL/MSSQL/Oracle上筛选行的选项？
BULK INSERT payroll.t_allowance
FROM 'f:\orders\lineitem.csv'
WITH
(
FIELDTERMINATOR =' |',
ROWTERMINATOR =
浏览 0提问于2015-10-31得票数 7
2回答
将CSV文件插入到Server中已有的表中
sql、sql-server
我有一个.csv文件，必须更新到Server中已经存在的表。是否有除大容量插入之外的查询可用于此？
以下是数据库和表:备份数据库- dbo.Backup$表
下面是已经在dbo.Backup$表中的示例数据
Location Name
ga John
pa Sally
这是.csv文件数据：(test1.csv)
Location Name
ca Jan
ky Bill
期望产出：
Location Name
ga John
pa Sally
ca
浏览 4提问于2020-09-23得票数 2
回答已采纳
1回答
如何允许非管理员用户在Azure SQL数据库上使用大容量插入
azure、permissions、azure-sql-database、bulkinsert
目前，我很难让BULK INSERT在不使用管理用户的情况下使用Azure数据库。以下脚本在管理员用户执行时运行良好，与预期的和完全相同：
-- Note: this requires a MASTER KEY to exist!
-- If you don't have a master key yet, create one with the following statement:
--CREATE MASTER KEY;
CREATE DATABASE SCOPED CREDENTIAL StorageCredential WITH
IDENTITY = 'S
浏览 0提问于2018-03-20得票数 1
2回答
SQL Server2008-从具有特定列的.txt或.csv插入
sql-server、sql-server-2008
我正在尝试从.txt文件插入(或者.csv会更好！)但我希望能够从.txt (或.csv文件)中挑选特定的列，例如column #1 #2 #5 #10等。
这有可能做到吗？
此时，下面的MSSQL将插入整个内容，并要求它要插入到的数据库中的字段数量相匹配。
BULK
INSERT TableName
FROM 'C:\Users\User\Desktop\test.txt'
WITH
(
FIELDTERMINATOR = ',',
ROWTERMINATOR = '\n'
)
GO
以下是来自.csv的一行数据的示例：-
"1A
浏览 12提问于2014-12-24得票数 0
1回答
如何在不修改源文件的情况下在大容量插入期间添加其他列
sql-server、bulkinsert、bulk-load
我有一个BULK INSERT到一个表中，但是我需要为表的每一行的最后一列添加不在我的csv中的数据。例如，如果我的csv文件包含10列，但数据库表包含11列，我如何为最后一列添加数据？不能修改csv文件本身 使用BULK INSERT可以做到这一点吗 下面是我的脚本： BULK INSERT [Data_GPS].[dbo].[Data_z]
FROM 'C:\TEMP\SQL\Bulk insert\dane.csv'
WITH
(
FIRSTROW = 2,
FIELDTERMINATOR = ';',
浏览 22提问于2021-04-08得票数 0
2回答
为什么批量插入插入数据的顺序是随机的？
sql-server、csv、bulk-insert
我有一个包含35万行的csv文件。希望以与csv文件相同的顺序将数据插入临时表。我试图使用：BULK INSERT：
BULK INSERT ##AllRows
FROM @FilePath
WITH
(
FIELDTERMINATOR = '\n'
)
不幸的是，BULK INSERT以随机顺序插入数据。在每次执行中，我的标题都在不同的行中。我在Server 2016上运行了它。是否有可能在较早版本的Server订单方式是不同的？
使用FIRSTROW选项不能识别标题为文件的第一行。文件中没有我们可以订购的任何列。在文件中，标题始终位于
浏览 0提问于2020-03-24得票数 1
回答已采纳
1回答
SQL Server - BULKADMIN和and大容量操作的区别是什么？
sql-server、permissions、bulk-insert
要授予用户运行Bulk Insert T-SQL command的能力，需要授予登录/用户权限：
BULKADMIN服务器角色或ADMINISTER BULK OPERATIONS服务器级权限
连接目标数据库
插入目标表
但是，BULKADMIN服务器角色和ADMINISTER BULK OPERATIONS服务器级权限之间有什么区别呢？
浏览 0提问于2020-04-28得票数 6
回答已采纳
3回答
如何在一个步骤中创建和填充表，作为CSV导入操作的一部分？
sql-server、sql-server-2000、bulkinsert、create-table、openrowset
我正在寻找一种快速而肮脏的方法将CSV文件导入Server，而不必事先创建表并定义其列。
每个导入的CSV将被导入到自己的表中。
我们不关心数据类型推断。CSV的结构和布局各不相同，它们都有许多列，但我们只关注其中的几个:街道地址和邮政编码。我们只想快速地将CSV数据输入SQL数据库，并提取相关的列。
我想提供FieldTerminator和RowTerminator，将其指向CSV，其余部分由实用程序来完成。是否有任何方法可以使用BULK INSERT和/或OpenRowset(BULK .)在一步内创建该表并填充它？
浏览 0提问于2012-05-02得票数 18
回答已采纳
1回答
将PDF插入Server
sql、sql-server、pdf
我想在Server中插入一个PDF文件。
我尝试了两个不同的查询，但仍然得到相同的错误：
Msg 4861，16级，状态1，11线
无法大容量加载，因为文件"C:\Users\XXX\Desktop\filename.pdf“无法打开。操作系统错误代码3(系统找不到指定的路径)。
我的代码：
INSERT INTO [Testing].[dbo].[table00](FileContent)
SELECT BulkColumn
FROM OPENROWSET(BULK N'C:\Users\XXX\Desktop\filename.pdf',
浏览 0提问于2017-03-21得票数 0
2回答
大容量插入插入0行
sql-server、bulk-insert
我试图使用bulk insert将csv文件中的数据插入到sql server表中，但它正在返回0行。
这是我使用的bulk insert语句
BULK INSERT dbo.DEA_Availability from 'C:\SQLPOWERDOC\CSV\DEA_Availability.csv'
with (
FIRSTROW=2,
FIELDTERMINATOR=',',
ROWTERMINATOR='\r\n',
ERRORFILE = 'C:\SQLPOWERDOC\CSV\DEA_Availability_ERROR.l
浏览 0提问于2019-06-24得票数 0
回答已采纳
2回答
如何将CSV文件中的数据插入SQL Server？
sql-server、bulkinsert
我想知道是否有任何方法可以访问我的本地硬盘驱动器，使用BULK INSERT或其他命令将数据从CSV文件插入到SQL Server数据库表中。
我以前用过BULK INSERT，但为了使用它，我不得不把CSV文件放在服务器的硬盘上，而不是我的本地硬盘上。我可以访问服务器所在计算机的硬盘。
这次我只有SQL Server的读写访问权限，而不是安装了SQL Server的整台计算机。
有没有人对我如何做到这一点有什么建议？
浏览 0提问于2013-01-30得票数 1
回答已采纳
2回答
Server 2017 -使用格式文件和format = CSV参数批量插入SQLBIT类型
sql-server、bulkinsert
我有一个输入CSV文件。CSV中的数据包含在文本限定符(双引号)中，因此对于大容量插入，在插入表时删除双引号，我使用的是FORMAT = 'CSV‘参数。
CSV中的一列包含布尔数据(TRUE/FALSE)，我希望将其插入到SQL表(SQL2017)中，作为1和0，其数据类型为bit。因此，在格式文件中，我已经将其类型指定为SQLBIT，而对于其他SQLCHAR，则指定了它的类型。
但是大容量插入失败，错误：
Cannot bulk load CSV file. Invalid field parameters are specified for source column numbe
浏览 2提问于2020-05-03得票数 0
2回答
SQL Server导入数据，不带链接服务器/导入
sql、sql-server
有没有一种方法可以将数据从Excel或csv文件导入到SQL Server表中，而无需使用链接服务器/BULK INSERT/OPENROWSET等& import实用程序？
我正在寻找更多的SQL查询，这将为我做到这一点。
我可以使用import实用程序，但我希望将其放在脚本中。谁有针对它的T-SQL？
浏览 1提问于2018-04-13得票数 0
1回答
当BULK_INSERTING .csv进入SQL Server2008时保留回车(速成版)
sql、sql-server-2008、bulkinsert、import
我正在将数据从我的旧招聘数据库导出到我的新数据库中，以节省高昂的成本。我几乎都在使用BULK_INSERT ( SQL Server2008Express没有完整的SSIS，导入/导出向导也没有KEEP NULL选项，这对我很重要，所以我只能使用BULK_INSERT)。
无论如何，我的.csv和BULK_INSERT栏只有一个讨厌的专栏，看起来都很不错。我要导入到的一个表(客户端)中的目标列是：-
Client_Notes (ntext, null)
我使用以下语法进行插入：-
BEGIN TRAN SAJ
BULK INSERT Client
FROM 'c:\MAIN SHARE
浏览 1提问于2012-03-14得票数 1
1回答
将csv文件组合到SQL中，然后更新为现有表。
sql、sql-server
我有两个csv文件，我将称之为table1和table2。
table1
Name Location
Jim NY
table2
Name Location
Rick CA
我想把和这些垂直结合起来
期望产出：
table3
Name Location
Jim NY
Rick CA
一旦将垂直组合成表3，现在我想将table3与SQL server (table4)中的现有表组合起来。
table4 (已存在于Server中)
Name Location
Lisa TX
最终输出
Name Location
Lisa TX
Jim N
浏览 3提问于2020-09-23得票数 0
回答已采纳
2回答
在使用SSIS 2014的SP中的临时表时发出
sql-server、ssis、sql-server-2014、sql-server-data-tools、sql-server-2012-datatools
我有一个SSIS 2014包，我在这里使用SP。SP正在创建临时表，并将数据插入该临时表并返回结果集。当我使用与SQL SERVER 2005一起使用的包时，它运行良好，但当我使用SQL SERVER 2014数据库时，它将返回以下错误：
SSIS错误代码DTS_E_OLEDBERROR。发生了OLE DB错误。错误代码: 0x80004005。OLE DB记录是可用的。源："Microsoft本机客户端11.0“Hresult: 0x80004005说明：”无法确定元数据，因为语句'INSERT INSERT #tblTemp ( id、用户名、指示符‘in procedu
浏览 2提问于2017-01-10得票数 0
1回答
大容量插入从文件
sql-server、t-sql、import、bulk
我经常被要求将数据从文件(比如csv)上传到Server 2008 db中。
我想使用BULK INSERT，但我无法访问db服务器文件系统。
问题
是否有一种将远程文件传递/上载到Server以使用BULK INSERT的方法？
是否有其他tsql方法将数据从文件导入到数据库？
浏览 0提问于2012-10-16得票数 1
回答已采纳
1回答
SSIS -查询平面文件，然后根据结果插入的SQL
sql、ssis
我的任务是实现从平面csv文件(A)到SQL Server数据库(B)的数据加载。现在，虽然我完全是SSIS的初学者，但我发现进行转换相当简单。问题是，来自CSV (A)的数据必须加载到(B)中的四个不同的表中，并且我需要在插入之前检查现有数据。
例如，在(A) CSV中有一个名为SERVER_VERSION的列，其结构为: SERVER.VERSION
我需要做的是: 1.从(A)列中检索服务器和版本作为单独的信息(简单修剪) 2.在(B)版本表上运行select查询以搜索此信息3.如果没有结果，则将(A)中的信息插入到(B)服务器表中，该表有一个服务器列和一个版本列
FLATFILE_SO
浏览 1提问于2012-08-08得票数 1
2回答
如何将数据从文本文件传输到数据库
sql-server、database、ssis
我在记事本(.txt)文件中有来自sysssislog表的数据，我需要将数据传输到SQL server数据库中。
我在sql server中创建了表。数据应该使用SSIS包在表中传输。在工作期间，我发现了这个错误。
有人知道怎么解决吗？非常感谢
[OLE DB目的地113]错误: SSIS错误代码DTS_E_OLEDBERROR。发生了OLE DB错误。错误代码: 0x80004005。OLE DB记录是可用的。源："Microsoft SQL Server本机客户端11.0“。结果: 0x80004005描述：”违反主键约束‘PK__sysssisl_3213E83F53
浏览 3提问于2016-10-18得票数 0
2回答
SQL Server将数据从.csv大容量导入到新表
sql、sql-server、csv、bulkinsert
我似乎找不到这个微不足道的问题的答案。
我希望将数据从.csv文件(列数未知，以逗号分隔)文件大容量导入现有数据库中的新SQL Server表。如果表是预定义的，则BULK INSERT语句可以很好地工作，但是因为我不知道.csv文件的列数，所以它不能工作。
我尝试将bulk与openrowset结合使用，但无法使其正常工作。
顺便说一句: SSIS在这种情况下不是一个选项，因为我想将查询合并到R (sqlquery)或Python中。
如果您能帮忙，我们将不胜感激！
浏览 0提问于2016-03-04得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
