如何在MVC C#中加快excel文件导入sql数据库的速度
在MVC C#中加快Excel文件导入SQL数据库的速度可以通过以下几个步骤来实现：
- 使用合适的Excel读取库：选择一个高效的Excel读取库，例如EPPlus或NPOI。这些库可以帮助你快速读取Excel文件的内容。
- 批量插入数据：使用批量插入的方式将Excel数据快速导入到SQL数据库中。可以使用SQL的BulkCopy功能或者自定义的批量插入方法来实现。
- 使用事务：在数据插入过程中使用事务来确保数据的完整性和一致性。事务可以将多个插入操作作为一个原子操作来处理，提高数据插入的效率。
- 使用索引：在数据库表中创建适当的索引可以加快数据插入的速度。根据查询需求创建合适的索引，可以提高数据插入和查询的性能。
- 数据库优化：对数据库进行性能优化，例如调整数据库参数、分区表、使用存储过程等，可以提高数据插入的速度。
- 异步处理：将Excel文件导入数据库的过程放在后台进行异步处理，可以提高系统的响应速度和用户体验。
- 数据验证和清洗：在导入数据之前，进行数据验证和清洗，确保数据的准确性和完整性。可以使用正则表达式或其他方法对数据进行验证和清洗。
- 数据库连接池：使用数据库连接池来管理数据库连接，避免频繁地打开和关闭数据库连接，提高数据插入的效率。
推荐的腾讯云相关产品：腾讯云数据库SQL Server，详情请参考：https://cloud.tencent.com/product/cdb_sqlserver
以上是在MVC C#中加快Excel文件导入SQL数据库的速度的一些建议和方法。通过选择合适的库、使用批量插入、事务、索引、数据库优化等方法，可以提高导入速度并优化系统性能。
相关·内容
7回答
在SQL中向表中插入大量记录的最快方法
java、sql-server、performance、large-data-volumes
问题是，我们有大量的记录(超过一百万条)要从Java应用程序插入到单个表中。这些记录是由Java代码创建的，而不是从另一个表移动，因此INSERT/SELECT不起作用。
目前，我的瓶颈是INSERT语句。我正在使用PreparedStatement来加速这个过程，但在一个普通的服务器上，我每秒不能获得超过50个重新编码。该表一点也不复杂，并且没有在其上定义索引。
这个过程耗时太长，而且耗费的时间会产生问题。
我可以做什么来获得最大的速度(插入每秒)？
数据库: MS SQL 2008。应用程序:基于Java，使用Microsoft JDBC驱动程序。
浏览 1提问于2010-05-04得票数 11
回答已采纳
2回答
ADO.NET SQL Transaction -仅对数据库进行一次调用？
c#、.net、sql-server、vb.net、ado.net
我正在审查一些代码，它使用存储过程将一些数据插入到MSSQL数据库(MSSQL2014)中。
每一行数据都会导致对该数据库的调用。
这显然是低效的，原因有很多；尤其是必须通过网络对每一行数据进行调用。
我猜测，如果它们只是将所有这些单独的all命令调用(ExecuteNonQuery)包装到一个事务中，那么最终将导致“批量插入”。当你真正“提交”事务时，连接上的调用就完成了。
这是正确的吗？这会在一次调用中将所有all命令发送到服务器吗？当使用事务时，我还找不到概述客户端和服务器之间通信的图表或文档。
--> Begin Transaction
-> ExecuteNonQuer
浏览 0提问于2016-03-02得票数 1
3回答
使用PHPxcel减少数据库插入的执行时间
php、mysql、zend-framework2
我正在尝试将包含20k+行的excel文件工作表插入到数据库表中。我使用的是Zend Framework(ZF2)、PHPExcel和mysql。我的问题是，当我试图插入数据到mysql表，它需要10多个minutes.Everything工作完美，但唯一的问题是时间。任何人都有关于如何减少执行时间的想法。提前感谢，下面是我的示例代码：
for($i=2;$i<=$highestRow;++$i)
{
$data = array(
'tid' => $posts[$i][
浏览 1提问于2016-11-26得票数 2
7回答
为什么SQL server插入如此缓慢？
sql、sql-server-2005
我正在尝试将内存中的数据行插入到SQL Server Express 2005上的表中。在我看来，它运行得非常慢--大约每插入1000行就运行5秒。我只是在使用一个基本的"INSERT INTO“命令。慢并不依赖于表数据-对于一个只有一个int列但没有索引的表，它仍然很慢。这与我的软件无关-它只是在Management Studio的循环中运行SQL的速度一样慢。在同一时间，没有其他任何东西可以访问数据库。在3 3Ghz (旧的我知道)上，这将需要大约10秒来执行：
declare @i int
set @i = 0
set nocount on
while @i <
浏览 0提问于2009-11-17得票数 4
1回答
数据库插入速度越慢，表得到的越大。
sql-server、performance
我遇到了一些问题，数据库插入速度越慢，表得到的越大。我正在插入大约130万个记录，其中第一个100,000是以一个合理的速度插入，但然后插入逐渐变慢。
表从空开始，并且有三个外键和五个索引，我已经读过了，这可能会导致慢下来，因为每一个插入都需要重新索引。我是否可以证实这是问题的一个可能原因？
无论如何，我是否可以通过禁用insert语句后的索引并在结束时再次执行索引(而不删除索引)来提高此性能？
有没有人有进一步的建议来提高业绩。
我正在使用Server，它位于我的第二个硬盘上。
浏览 2提问于2018-02-20得票数 3
4回答
多个MySQL查询以及如何使我的脚本运行得更快
php、mysql、performance
使用PHP (1900秒的时间限制和超过1GB的内存限制)和MySQL (使用PEAR：：MDB2 2).
我正在尝试创建一个搜索引擎，它将从mysql数据库中的站点提要中加载数据。有些站点拥有相当大的提要，其中包含大量数据(例如，仅在一个文件中就有超过80.000条记录)。在将记录插入数据库之前对每个记录进行一些数据检查(也可能插入或更新mysql表的数据检查)。
我的问题是，你们中的许多人可能已经拥有understood...time了！对于提要中的每条记录，有超过20条检查，对于带有例如: 10.000条记录的提要，可能有>50.000个插入到数据库。
我试着用两种方法做这件事：
浏览 3提问于2009-12-19得票数 0
9回答
腾讯云时序数据库 CTSDB VS 传统时序数据库？
数据库、sql
很多公司已经开始持续收集、分析数据，用于异常处理、趋势预测、精准营销、风险控制等场景，希望利用数据的潜在价值，提高公司盈利能力和竞争力。那么腾讯云时序数据库 CTSDB VS 传统时序数据库，腾讯云时序数据库有没有什么进步？
浏览 1724提问于2018-09-26
1回答
将污垢Excel 2007文件导入和清除到Server 2005
c#、sql-server-2005、vba、excel-2007
我的任务如下，并正在寻找一些想法。将Excel导入到SQl Server 2005.
1)数据需要统一，因为数据来自许多不同的分支机构。例如:我需要截断Excel中的字段，转换不同的货币写入方法(用句号代替逗号来表示成千上万的货币)。
2)我还想得到一些反馈报告，如果它超出了预先设定的约束，但不一定是“停止显示”，则可能需要用户的注意来纠正。上传后，页面将根据行级数据约束批准Excel文件或拒绝该文件。
3)最后，我将扩展到一个网站，用户可以通过Http或Ftp提交他们的文件。我想这将使用XML。在自动编辑和约束检查之后，上传页面将数据放在一个保持位置，由业务分析人员检查数据，然后启动自动过程
浏览 1提问于2011-06-07得票数 2
回答已采纳
1回答
每100万行提交插入命令
database、oracle、plsql、query-optimization、sql-insert
我有一个表tbl_1 (在oracle数据库中)，有超过10亿条记录。我想在一个新的表tbl_2中插入所有的记录。如果我使用：
insert into tbl_2 select * from tbl-1;
commit;
然后，代码需要很长时间才能完成，因为oracle DBMS必须考虑在线重做日志文件和零数据丢失。
一种想法是每100万条记录提交一次插入，以便在线重做日志文件、处理数据库管理系统应用的其他后台进程所需的时间更短。答案是使用游标，但我猜使用游标会使代码变慢。你有什么想法吗？
浏览 6提问于2022-08-15得票数 0
回答已采纳
6回答
在Sql Server上，在事务中包装插入对性能有多大帮助？
sql、sql-server、database、performance、transactions
假设我有100行要插入，每行大约有150列(我知道这听起来像很多列，但我需要将这些数据存储在一个表中)。插入将随机发生(例如，当一组用户决定上传包含数据的文件时)，大约每月20次。然而，数据库将在连续负载下处理大型企业应用程序的其他功能。这些列是varchars、int以及各种其他类型。
在事务中包装这些插入(而不是一次运行一个插入)的性能增益是巨大的、最小的还是介于两者之间的？
为什么？
编辑:这是针对Sql Server2005的，但是如果有什么不同的话，我会对2000/2008感兴趣。另外，我应该提到的是，我理解事务主要是为了数据一致性的观点，但我想重点关注性能影响。
浏览 1提问于2009-02-06得票数 13
回答已采纳
3回答
高效的大容量数据插入
c#、asp.net、sql
我的数据记录文件中的数据格式如下。
每行代表数据库中的一行，一次插入500-1000行。
最好通过调用存储过程(该过程包含调用日志文件和插入数据的逻辑)直接将数据插入数据库中。
或
最好是在应用程序中解析它并插入数据。
29 2011-02-01 11:00:40 1 0 1 0
30 2011-02-01 11:00:44 1 0 1 0
32 2011-02-01 11:00:49 1 0 1 0
浏览 2提问于2012-02-19得票数 3
2回答
优化MySQL插入以处理数据流
mysql、optimization、bulkinsert
我正在使用高速率数据流，并执行以下步骤将数据存储在MySQL数据库中。对于每一个新到达的物品。
(1)分析收到的物品。
(2)执行几个“插入.关于重复密钥更新”
我使用消除了对数据库的另一次往返。
在试图提高整体性能的同时，我考虑以以下方式进行批量更新：
(1)分析收到的物品。
(2)生成带有“插入. ON重复键更新”的SQL语句并追加到文件中。
定期将文件中的SQL语句刷新到数据库。
两个问题：
(1)这会否对资料库的负荷产生正面影响？
(2)如何将语句刷新到数据库，以便在完成刷新后才能重建索引？(使用交易？)
更新:我使用的是Perl DBI
浏览 16提问于2009-11-21得票数 2
回答已采纳
11回答
加速LINQ插入
c#、linq、linq-to-sql、ado.net
我有一个CSV文件，必须将其插入到SQL Server数据库中。有没有办法加快LINQ插入的速度？
我已经创建了一个简单的Repository方法来保存记录：
public void SaveOffer(Offer offer)
{
Offer dbOffer = this.db.Offers.SingleOrDefault (
o => o.offer_id == offer.offer_id);
// add new offer
if (dbOffer == null)
{
浏览 5提问于2009-08-25得票数 16
回答已采纳
2回答
“运行一次”要插入的大量数据...本地VS网络连接？
.net、sql-server、optimization、entity-framework-4
因此，我有一个一次性的交易，我必须从不同的数据库/表中获取数据，将其切片并将其插入到单个表中。
这是通过Windows Form C# .NET 4.0应用程序完成的。
我必须为我们将在CRM环境中使用的每个不同实体运行一次一次性交易流程(显然)。
对于某些实体，只需插入20,000行，因此联网的SQL连接就足够了。
但另一个有80万长，需要相当长的时间才能完成。
我想知道，如果在SQL Server本身上安装应用程序并在连接字符串中指定本地连接而不是网络连接，是否会提高速度。
我必须提出正式请求才能获得对该服务器的远程桌面访问权限，这就是为什么我在实际测试之前询问是否有人在这里成功地使用过这
浏览 0提问于2012-11-28得票数 0
回答已采纳
2回答
使用SqlBulkCopy和Azure进行并行批量插入
database、azure、parallel-processing、azure-sql-database、sqlbulkcopy
我在云上有一个带有sql azure数据库的azure应用程序。我有一个worker角色，需要在一个文件(最多3000万行)上执行parsing+processing，所以我不能直接使用BCP或SSIS。
我目前正在使用SqlBulkCopy，但是这似乎太慢了，因为我已经看到400k行的加载时间长达4-5分钟。
我想并行运行我的批量插入；然而，在阅读有关并行导入数据/控制锁行为的文章时，它指出SqlBulkCopy要求表没有聚集索引，并且需要指定一个表锁(BU锁)。然而，azure表必须有一个聚集索引...
在SQL Azure中是否可以在同一个表上并行使用SqlBulkCopy？如果没有，有
浏览 1提问于2012-03-01得票数 7
回答已采纳
3回答
使用外键加速表连接吗
mysql、performance、join、foreign-keys
我认为我的标题是相当自我解释，但我将概述我正在做的下面。
一个人与一个城镇相连。这个镇与一个县相连。这个县与一个国家相连。一个国家有许多县。在一个县里也有许多城镇。话虽如此，许多人可能来自同一个城镇。
在我的数据库中，我有一个单独的人，镇，县和国家的表。为了获得完整的用户记录，我留下了一个记录集上的表联接。这是我所做的一个简单的版本，因为一个单一的人被分散在更多的桌子上。使用外键会加快我查询的执行速度吗？即使这只是一个轻微的速度增长或较少的资源使用发生，我会感兴趣。
我计划的规模相当大，因此执行时间和资源使用可能是有用的。与从数据库返回的单个人一样，对于多个表，我大约有5-6个联接。
编辑到目
浏览 6提问于2015-04-01得票数 3
回答已采纳
3回答
PHP脚本运行缓慢，但服务器CPU空闲
php、mysql
我有一个从文本文件导入各种数据的PHP脚本。
导入非常复杂，我的测试文件有32.000个条目。这些条目必须被解析并插入到mysql数据库中。
如果我将运行我的脚本，它需要30分钟才能完成...此时，我的服务器cpu有99%处于空闲状态。
有没有机会优化php和mysql，让它们使用更多机器的电力？
代码：
if ($handle = @fopen($filename, "r")) {
$canceled = false;
$item = null;
$result = null;
while (!feof($handle)) {
浏览 0提问于2012-08-07得票数 1
回答已采纳
1回答
InnoDB事务:锁定等待超时
mysql、innodb
我的数据库中有一个表(实际上是几个相关的表)，get可以通过我们的接口从不同的点手动操作，也可以连续地从两个源自动操作。定期更新可以包含大量的数据，并可能导致数以千计的插入/更新。为了提高插入/更新的性能，我在这些自动源的更新周围使用了"SET autocommit = 0“。这导致了预期的性能改进，甚至可能比预期的还要高。但是，现在的问题是，如果自动源重叠，或者经常执行手动更新，数据库就会锁定，过一段时间就会抛出一个错误：
超过锁定等待超时；尝试重新启动事务
这可能会抛出，即使是在一个带有自动提交的语句中，并且没有事务，但我认为如果它与事务冲突，这也是合理的。我读过各种建议，可惜没有
浏览 1提问于2013-07-13得票数 2
2回答
如何利用有限的处理资源处理大量的数据？
java、database-design、memory、big-data
我每天从外部源接收大量的数据(大约250 an，有2.6亿行固定宽度的文本)，分布在5个文本文件上。我正在编写一个Java应用程序，它应该根据某些业务逻辑将第一组数据(文件1-4)与第二组(文件5)组合在一起。
但是从250 GB的文本文件中多次访问/读取是非常耗时的。所以我决定找一种更有效的方法来处理我的数据。我认为应该将数据存储到数据库中(例如，mysql )，并使用数据库而不是文本文件进行处理。此数据库将在处理完成后删除。
与文本文件相比，这种使用临时数据库的方法能提高性能吗？或者有什么更好的建议如何设计这种大规模加工？
注意:我的应用程序必须使用32 TB内存、Intel处理器E564
浏览 0提问于2018-09-07得票数 1
回答已采纳
3回答
如何使用java优化插入数据的处理速度？
java、mysql
我需要读取一个带有标题和数据的Excel文件，并根据从文件中提取的标题和put值在数据库(MySQL)中创建一个表。为此，我使用JDBC在DB Table中创建和插入数据(使用预准备语句)。
它工作得很好，但当记录的数量增加时，-suppose文件包含200000条或更多记录-它将变得很慢。请指导我如何才能优化将数据插入DB表的处理速度。
谢谢，Sameek
浏览 2提问于2011-06-27得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
