在Parallel中使用DbSet.Add()发现的一系列多线程问题和解决过程

HOHO

发布于 2020-04-27 10:32:34

4410

发布于 2020-04-27 10:32:34

发现问题

需求很简单，大致就是要批量往数据库写数据，于是打算用Parallel并行的方式写入，希望能利用计算机多核特性加快程序执行速度。想的很美好，于是快速撸了类似下面的一串代码：

                using (var db = new SmsEntities())
                {
                    Parallel.For(0, 1000, (i) =>
                    {
                        db.MemberCard.Add(new MemberCard()
                        {
                            CardNo = "NO_" + i.ToString(),
                            Banlance = 0,
                            CreateTime = DateTime.Now,
                            Name = "Test_" + i.ToString(),
                            Status = 1
                        });
                    });
                    db.SaveChanges();
                }

可意外的是竟然无情的报错了:

奇葩的是当我再次刷新的时候异常又不一样了，于是连着刷新好多次，总结出现过的异常有下面这些：

1、未将对象引用设置到对象的实例。

2、已添加了具有相同键的项。

3、集合已修改；可能无法执行枚举操作。

4、一个 EdmType 不能多次映射到 CLR 类。EdmType“SmsModel.MemberCard”映射了一次以上。

其中1和2是出现最多的，而且所有异常都是出现在Add的时候，各种吃瓜表情~没办法，接着一一断点调试，还是没找出原因，出于进度考虑，换成了另一种方案，也就是用DbSet的AddRange方法。先在Parallel中累加出一个实体List，然后一次性添加到DbSet中，代码演变为:

            List<MemberCard> list = new List<MemberCard>();
            using (var db = new SmsEntities())
            {
                var result = Parallel.For(0, 1000, (i) =>
                  {
                      list.Add(new MemberCard()
                      {
                          CardNo = "NO_" + i.ToString(),
                          Banlance = 0,
                          CreateTime = DateTime.Now,
                          Name = "Test_" + i.ToString(),
                          Status = 1
                      });
                  });
                if (result.IsCompleted)
                {
                    db.MemberCard.AddRange(list);
                    db.SaveChanges();
                }
            }

然后编译、测试，没问题，就先放着了。

分析问题

第二天到公司心里还在纠结这个问题，于是打开页面输入生成的数据量1000（真实项目中的循环次数是手动输入的），点按钮提交，嗯，又吃瓜般的异常了…：

心想昨天测试都好好的啊（其实昨天输入的是10，心虚脸...），没办法，上断点吧，一看吓一跳：

明明循环1000次，结果只有971条数据，而且里面还有为null的，经过多次调试发现这是一个随机现象，Count是随机的null也是随机的，有时出现有时没有，初步判断这是一个在多线程情况下引发的一个资源调配异常。So，上MSDN看了一下List的介绍，最后面“线程安全”写着：

一切貌似都清楚了，于是打算验证一下结果，加上了锁，测试结果为：

list里面也没有再出现null了，确认是因为多线程安全引起的异常。于是想起昨天那个问题是否也是同样的问题，再上MSDN搜了一下DbContext类和DbSet类，都是这样说的：

接着就给dbcontext上了锁，测试，这次总算如我所料，完美运行。但是不解的是最初那几个异常是如何产生的，List中虽然数量不够也存在为null的对象，但是并没有直接爆出异常。现在只知道是线程问题，再详细的也搞不清楚，有知道的大神还麻烦指点一下。

寻找解决方案并验证结论

也想过用Partitioner分区来做，但是仔细一想，虽然分区内部是单线程，但是区与区之间还是多线程的，如果分的太细也就失去了Parallel的意义，只得另寻出路。还好Framework为我们也提供了一些线程安全的泛型集合（比如ConcurrentBag、ConcurrentQueue等），不过其本质还是用了锁【这里更正下错误：本质并不是用锁而是原子操作，感谢评论中的园友指正】，于是就综合做了一下单线程list、多线程list加锁、多线程ConcurrentBag、多线程ConcurrentQueue的性能对比，结果如下：

循环1000次时：