我目前正在构建一个应用程序,它需要一个功能来将用户提供的CSV文件作为数据导入到数据库中。CSV中的每个“单元格”将存储在其自己的行中。
最初,我使用参数化查询逐行插入每一行,但操作的速度很慢(一个示例文件中有520,000个插入!)意味着我不得不重新考虑这一点。我现在正在将CSV文件解析为IEnumerable<Answer>,并将其移交给以下代码,以便批量插入到数据库中:
    public void AddAnswers(IEnumerable<Answer> answers)
    {
        const int batchSize = 1000;
        var values = new StringBuilder();
        var i = 0;
        foreach (var answer in answers)
        {
            if (i++ > 0)
            {
                values.Append(",");
            }
            values.AppendFormat("({0},{1},'{2}')", answer.AnswerSetId, answer.QuestionId, answer.Value.Replace("'", "''"));
            if (i == batchSize)
            {
                // We've reached the batch size limit - send what we have so far
                SendAnswerBatch(values.ToString());
                values.Clear();
                i = 0;
            }
        }
        if (i > 0)
        {
            // Ensure any leftovers that didn't reach the maximum batch size are sent over
            SendAnswerBatch(values.ToString());
        }
    }
    private void SendAnswerBatch(string values)
    {
        var query = String.Format("INSERT INTO Answers (AnswerSetId,QuestionId,Value) VALUES {0}", values);
        Context.Database.ExecuteSqlCommand(query);
    }这改变了大量数据的插入时间,从超过5分钟减少到不到5秒,但是我意识到用''替换'是不安全的。
显然,插入单行的最安全方法是使用参数化查询,但是有没有办法让这样的事情在批插入中工作呢?
如果可能的话,我还需要它是非数据库特定的-我已经考虑过SqlBulkCopy,但应用程序需要支持多个数据库引擎。
发布于 2013-11-15 19:23:52
我建议你使用sqlBulkCopy,当插入很多值的时候,这对我来说非常有用
把你的项目放到一个数据表中,让SqlBulkCopy来做剩下的事情。
http://msdn.microsoft.com/en-us/library/system.data.sqlclient.sqlbulkcopy.aspx
https://stackoverflow.com/questions/19999318
复制相似问题