问读取文件并写入数据库

EN

如果使用的是SQL Server，则可以使用BULK INSERT命令

http://msdn.microsoft.com/en-us/library/ms188365.aspx

基本上，您设置了一个SQLCommand对象，将CommandText设置为如下所示：

sqlCommand.CommandText = "BULK INSERT " & tableName & " FROM '" & file & "' WITH(TABLOCK, FIELDTERMINATOR=',')
sqlCommand.ExecuteNonQuery()

tableName -是要插入的表格的名称。

文件-是希望SQL Server读取的文件的名称。您需要确保SQL Server可以到达存储文件的位置。这包括ACL权限和网络连接。

BULK INSERT命令有很多选项，我以前用过它，它工作得很好。

不管怎样，你都会有多个插入。如果文件不太大，最简单的方法是首先创建一个数据库事务，然后逐行读取并为每行创建一个insert命令。一旦所有行都被读取，您就可以提交事务。

对于一个100 up的文本文件，我会首先将其拆分成小得多的块，以便插入。也许每1000行提交一次事务？

对我来说，"Id“和"LinkId”字段看起来就像一个经典的父>子关系。因此，只要先插入父对象，就不会有问题。

您没有提到这将是哪种类型的数据库，但是如果它是MSSQL，那么您还可以使用Linq to Sql每行创建一个新对象并将其添加到列表中。假设你使用的是C#，你可以使用：

List<YourObject> YourList = new List<YourObject>();

using(System.IO.StreamReader file = new System.IO.StreamReader("C:\yourstorage.txt")) {
    while((line = file.ReadLine()) != null) {
        string[] fields = line.Split(',');

        YourObject obj = new YourObject();
        obj.FieldX = fields[0];
        obj.FieldY = fields[1];
        obj.FieldZ = fields[2];

        YourList.Add(obj);
    }
}

using(YourDataContext db = new YourDataContext()) {
    db.YourObjects.InsertAllOnSubmit(YourList);
    db.SubmitChanges();
}

其中YourObject是已经添加到项目中的Linq to Sql模型，YourObjects是数据库中的实际表名。但是对于一个巨大的文件来说，这可能会占用大量的内存。

显然，您可以使用OLEDB打开CSV文件see this for example，从那里将数据从一个数据库获取到另一个数据库应该很容易。

我不确定它是否真的解决了内存问题，但它比在内存中构造XML副本要好得多。