腾讯云

开发者社区

文档建议反馈控制台

首页

文章/答案/技术大牛

发布

社区首页 >问答首页 >使用C#.Net处理将平面文件导入Server的最佳方法

问使用C#.Net处理将平面文件导入Server的最佳方法
EN

Stack Overflow用户

提问于 2012-05-07 13:10:50

回答 1查看 1.9K关注 0票数 1

我编写了一个控制台应用程序，它读取平面文件列表
并以行为基础分析数据类型。
并在各自的表中依次插入记录。

很少有包含63k记录(行)的平面文件。对于这样的文件，我的程序大约需要6个小时才能完成一个63k记录的文件。

这是一个测试数据文件。在生产中，我必须处理100倍以上的负荷。

我很担心，如果我能更好地加快速度的话。

能给出一个最好的方法来处理这份工作吗？

工作流程如下：

用FlatFile从本地机器读取File.ReadAllLines("location")
在解析行的每个字段后创建一个记录实体对象。
将当前行插入实体

将其作为控制台应用程序的目的是，这个应用程序应该每周运行(计划应用程序)，其中包含有条件逻辑，基于某些变量，

全表替换或
更新现有表或
删除表中的记录。

console-application

batch-processing

flat-file

c#-4.0

腾讯云会员中心

加入腾讯云会员，每月可领会员专属优惠券；会员云产品免费体验；云产品会员专享价；会员签到抽奖…

回答 1

Stack Overflow用户

回答已采纳

发布于 2012-05-07 13:37:36

您可以尝试使用“散装插入”操作将大量数据插入数据库。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/10489198

复制

将Excel文件数据库导入SQL Server

sql java 腾讯云开发者社区

将Excel文件数据库导入SQL Server的三种方案//方案一：通过OleDB方式获取Excel文件的数据，然后通过DataSet中转到SQL Server

Java架构师必看

2021/03/22

2.3K0

PHP导入Excel文件的方法

php

借助PHP-ExcelReader这个开源类，我们可以轻松地导入Excel文件数据，示例代码如下：

魏杰

2022/12/23

1.4K0

将数据从 SQL Server 导入 Azure Storage Table

文件存储 https 网络安全 sql sql server

最近有个需求要将数据存储从 SQL Server 数据库切换到 Azure Storage 中的 Table。然而不管是 SSMS 还是 Azure Portal 都没有提供直接的导入功能，是不是又想自己写程序去导数据了？其实不用！没有点过数据库天赋的我996了一个晚上，终于找到了点点鼠标就搞定的方法，今天分享给大家。

Edi Wang

2020/06/15

2K0

如何将 IPhone 的文件导入 Linux

iphone ios tcp/ip linux access

如何将 IPhone 的文件导入 Linux 完全免费方案。方法一：使用 Koder 的 Local File Access 功能这方法不需要在 Linux 端做任何配置。 IPhone 端安装 koder 进入应用 Koder 点击右下角的 Settings 进入 Local File Access 选择 Enable Local File Access 你可以看到一个链接，比如： http://192.168.1.3:9898 拷贝文件到 koder

绿巨人

2021/03/08

2.1K0

Power Query 真经 - 第 5 章 - 从平面文件导入数据

数据库 sql

作为一名数据专家，日常工作很可能都是在使用数据之前对其进行导入、操作和转换。可悲的是，许多人都没有机会接触到拥有精心策划过的数据的大数据库。相反，被不断地喂食 “TXT” 或 “CSV” 文件，并且在开始分析之前，必须经历将它们导入到 Excel 或 Power BI 解决方案的过程。对用户来说，重要的商业信息往往是以以下格式存储或发送给用户的。

BI佐罗

2022/05/17

5.3K0

sql server 2008如何导入mdf，ldf文件

sql sql server 数据库 html

网上找了非常多解决sql server导入其它电脑拷过来的mdf文件，多数是不全。遇到的解决方法不一样等问题，下边是找到的解决这个问题的最全面方法！

全栈程序员站长

2022/07/06

1.9K0

怎么将sql文件导入数据库_mysql导入sql文件命令

数据库 sql https 网络安全

在导入.sql文件之前，设置一下编码模式，防止出现中文乱码的情况（第一次导入就出现了中文乱码，所以中添加一步防止出现乱码情况）。

全栈程序员站长

2022/11/11

17.5K0

将文件导入到数据库中_将csv文件导入mysql数据库

数据库云数据库 MySQL sql https tomcat

我一开始是准备还原数据库的，结果出现了如下问题。因为它并不是备份文件，所以我们无法进行还原。

全栈程序员站长

2022/11/10

14.4K0

前端vue 封装上传文件和下载文件的方法导入方法直接使用

javascript

补充说明：目前各大UI库都有upload上传文件的组件，内置方法就含有file对象,拿到后传入即可。

江一铭

2022/06/17

3.1K0

将数据文件（csv,Tsv）导入Hbase的三种方法

编程算法 TDSQL MySQL 版 hbase c++hadoop

（1）使用HBase的API中的Put是最直接的方法，但是它并非都是最高效的方式（2）Bulk load是通过一个MapReduce Job来实现的，通过Job直接生成一个HBase的内部HFile格式文件来形成一个特殊的HBase数据表，然后直接将数据文件加载到运行的集群中。使用bulk load功能最简单的方式就是使用importtsv 工具。importtsv 是从TSV文件直接加载内容至HBase的一个内置工具。它通过运行一个MapReduce Job，将数据从TSV文件中直接写入HBase的表或者写入一个HBase的自有格式数据文件。（3）可以使用MapReduce向HBase导入数据，但海量的数据集会使得MapReduce Job也变得很繁重。推荐使用sqoop，它的底层实现是mapreduce，数据并行导入的，这样无须自己开发代码，过滤条件通过query参数可以实现。

Tim在路上

2020/08/04

3.7K0

Python批量处理Excel数据后，导入SQL Server

数据库 sql python

紧接昨天的文章Windows下载安装配置SQL Server、SSMS，使用Python连接读写数据，我们已经安装和配置好了sqlserver，也成功测试了如何利用Python连接、读写数据到数据库。

老表

2022/02/16

4.7K0

如何将sql文件导入mysql

数据库 sql https java 云数据库 SQL Server

第三步：如果sql文件的内容中有创建数据库的语句或者你想将表存放在你已有的数据库，在这里就不用创建数据库。

全栈程序员站长

2022/07/21

6.3K0

python中动态导入文件的方法

python

在实际项目中，我们可能需要在执行代码的过程中动态导入包并执行包中的相应内容，通常情况下，我们可能会将所需导入的包及对象以字符串的形式传入，例如test.test.run，下面将介绍如何动态导入。

Python学习者

2023/04/06

1.9K0

matinal：python 动态导入文件的方法

python import module 函数字符串

在实际项目中，我们可能需要在执行代码的过程中动态导入包并执行包中的相应内容，通常情况下，我们可能会将所需导入的包及对象以字符串的形式传入，例如test.test.run，下面将介绍如何动态导入。假设存在如下包:

matinal

2023/10/14

2010

如何将excel中的数据导入mysql_将外部sql文件导入MySQL步骤

https 云数据库 SQL Server 网络安全数据库 sql

客户准备了一些数据存放在 excel 中，让我们导入到 mysql 中。先上来我自己把数据拷贝到了 txt 文件中，自己解析 txt 文件，用 JDBC 循环插入到数据库中。

全栈程序员站长

2022/11/08

5.4K0

mysql导入excel文件_将Excel数据导入MySQL「建议收藏」

云数据库 SQL Server 数据库 sql java https

去年的投资统计月报数据量庞大，原始表格是xls格式(还是EXECL2003的)，单个sheet最大只能放几万行，但数据总量有10万行以上，于是只能存成两个sheet。EXECL2010格式倒是单个sheet可以放得下，可是居然不能将数据完整的从一个sheet复制粘贴到另一个sheet(可能是因为行数太多)。正好想学习一下execl数据导入MySQL数据库的方法，于是开始尝试。

全栈程序员站长

2022/10/02

16.1K0

求平面方程的几种方法_平面及其方程

https 网络安全

（1）

全栈程序员站长

2022/11/17

1.1K0

将stdout、stderr导入到指定文件

shell c++c#

在编写程序中，经常用到stdout、stderr作为输出，通常stdout用于输出程序运行正常时的信息，stderr用于输出程序出错时的信息。我们可以通过一些命令将stdout、stderr在屏幕上的输出导入到指定的文件。　　1、准备工作　　带有stdout、stderr输出的test.cpp 　　/* 　　** test.cpp 　　*/ 　　#include <iostream> 　　#include <stdlib.h> 　　using namespace std; 　　int main(int argc, char *argv[]) 　　{ 　　 cout << "This is stdout...." << endl; 　　 cerr << "This is stderr..." << endl; 　　 return 0; 　　} 　　用g++编译该文件：　　$ g++ test.cpp -o test 　　执行 test ，屏幕上打印stdout、stderr的信息　　This is stdout.... 　　This is stderr... 　　2、导入stdout的结果到指定文件　　在csh、sh下，使用”>”将stdout的结果导入到指定文件，本例中执行　　./test > out.log 　　查看out.log，可以看到里面写有“This is stdout....”。　　使用”>>”将stdout的结果追加到指定文件中，本例中执行　　./test >> out.log 　　查看out.log，可以看到增加了一行“This is stdout....”。　　3、导入stderr到指定文件　　在 csh 中，用 ">" 将 stdout 导向，用 ">&" 则能将 stdout 与 stderr 一起导向。可是不能只单独把 stderr 转向。最好的方法是　　(./test > out.log) >& err.log 　　以上的命令会开一个 subshell 执行 "./test"；而这个 subshell 的 stdout 则被转向到out.log，同时这个 subshell 的 stdout 和 stderr 则都被转向到 err.log，但是因为 stdout 已经先被转向了，所以 stderr 就会被转到 err.log 了。　　如果你只是单纯的不想把 stdout 做转向，那么就用 sh 来帮你吧。　　sh -c './test 2> err.log' 　　如果同时需要得到stdout、stderr的信息，也很简单，直接使用>&就可以了。　　./test >& err.log(王朝网络 wangchao.net.cn)

阳光岛主

2019/02/19

1.6K0

smalldatetime java,如何在数据导入期间将平面文件中的dd-mmm-yy值格式化为smalldatetime？…[通俗易懂]

css sql sql server python 数据库

I have a flat file which is imported into SQL Server via an existing SSIS package. I need to make a change to the package to accommodate a new field in the flat file. The new field is a date field which is in the format dd-mmm-yy (e.g. 25-AUG-11). The date field in the flat file will either be empty (e.g. a space/whitespace) or populated with a date. I don’t have any control over the date format in the flat file.

全栈程序员站长

2022/08/31

2.1K0

smalldatetime java,如何在数据导入期间将平面文件中的dd-mmm-yy值格式化为smalldatetime？…[通俗易懂]

Java 导入包正确依旧报错的处理方法

其他

今天想要测试某个方法，开始打开项目的时候是没问题的，然后写了两行代码就报错了，提示本包下的要导入，然后导入无效，其实同一个包下调用是不需要导入的。解决发方法：选择Project->Clean，然后

小柒2012

2018/04/13

1.6K0

相似问题

将平面文件导入SQL Server

使用导入和导出向导将平面文件导入Server

使用C#将平面文件导入SQL server

437

将大型excel文件导入SQL Server的最佳方法

通过SSMS将平面文件导入Server失败

活动推荐

即时通信IM，低门槛快速接入

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例