记一次w3wp占用CPU过高的解决过程(Dictionary和线程安全)

项目上线以来一直存在一个比较揪心的问题,和一个没有信心处理的BUG,那就是在应用程序启动时有可能会导致cpu跑满99%或持续在一个值如50%左右,这样一来对服务器的压力是非常大的,经常出现服务器无法远程的状态,唯有通过PowerShell杀掉对应的w3wp进程才可以解决这个问题。

为什么没有信心处理这个问题

原因非常简单,这个问题是间歇性的,不容易重现的,只会在项目启动时有一定的可能性会发生CPU跑满的问题。

所有可以重现的BUG的处理都不会太难,而类似这种无法重现的BUG是最让人头疼的,因为它无影无踪,令人难以寻迹。

如何处理这个问题?

1.一开始采用猜的办法,去项目中找while、lock等关键词,这样无异于大海捞针,而且不严谨的修改还会导致其他更为严重的问题产生,很快这个方案在搜寻过一遍后被放弃了。

2.后来记得有用过WinDbg解决过电脑蓝屏的问题,就猜想是否可以抓取对应w3wp进程的dump进行分析。

使用WinDbg查找线索

1.由于服务器是2008R2抓取dump就变得异常简单。

2.使用WinDbg

load SOS.dll后查看线程信息。

发现有7个线程比较耗时,这时候心想我用的线程也是7个,这时候内心无比的激动。

切换到21线程,查看堆栈信息后发现

在Dictionary的Insert时堵塞了,这时候查看其它占时很长的线程状态,也不外乎是这里堵塞了。

Dictionary中的Insert方法真的会堵塞吗?

写下如下测试代码后运行了几次

发现真的在有些时候cpu会占的非常高有时候又正常。

那么问题也就明朗了,解决它也变得非常容易,找到GetRoutes代码,原先是这么实现的

BundleTable.Bundles内部维护了一个静态字典表,那么问题就呼之欲出了,对这段代码加锁。

修改后的代码

观测了一段时间后,问题也确实解决了。

Dictionary中的Insert为什么会堵塞

我知道Dictionary不是一个线程安全的类型,但我原本以为Dictionary在非线程安全方式下访问时数据会错乱,而不会堵塞或者死锁,而这次的这个问题让我感觉到讶异,为什么Add一个项目会造成堵塞?

反编译Dictionary的源码后发现异常的复杂,也没有细究,所以下面的一段描述大家抱有自己的想法去阅读,可能是错的也可能是对的。

上面是我认为存在问题的地方,当一个线程执行过Initialize后buckets数组的值被修改,而第二个线程同时进入了Initialize方法,那么第一个线程所维护的值被破坏,造成在算法环节出现了死循环,这也可以说明了为什么cpu有时候是50%有时候是99%的问题。

当前有多少个线程发生了这种状态,如果发生这种状态的线程越多则代表cpu占用越多。

写在最后

由于一开始不会使用WinDbg找了技术群里的StevenChen帮忙解决问题,巧合的是两人推测出的问题在此相撞,在这里感谢下StevenChen

StevenChen也为此写了一篇博文详情请戳:http://www.cnblogs.com/StevenChennet/p/3991475.html

原文发布于微信公众号 - 我为Net狂(dotNetCrazy)

原文发表时间:2016-02-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏程序员的碎碎念

redis不难,benny带你入门

关于redis的学习,相信在各大博客、公众号上和教学视频教程里有很多,benny学习了一段时间总算是入门了,在会不定期的更新redis学习日记。

14240
来自专栏编程

Go语言·听说你想让程序运行的更快?

作者:孙飞撩技术 链接:https://www.jianshu.com/p/0db174aebfec 來源:简书 共11254字,阅读需28分钟 迁移自 CSD...

22760
来自专栏令仔很忙

设计模式六大原则——迪米特法则(LoD)

   在图书馆借书,刚开始的时候,直接跑到相应的楼层去,到里面去转,去找要借的书,在里面溜达半天才能找到;后来知道图书馆有一个电脑查询处,然后直接在电脑上输入...

27910
来自专栏Android点滴积累

Android指纹识别深入浅出分析到实战(6.0以下系统适配方案)

  指纹识别这个名词听起来并不陌生,但是实际开发过程中用得并不多。Google从Android6.0(api23)开始才提供标准指纹识别支持,并对外提供指纹识别...

34080
来自专栏撸码那些事

【封装那些事】 不充分的封装

以汽车为例,我们并不需要了解发动机的原理就可以开车。这准确描绘了封装原则的作用:用户无需知道抽象(汽车)的细节,此外,封装原则还让抽象能够隐藏实现细节的变化。发...

492130
来自专栏做全栈攻城狮

程序员带你十天快速入门Python,玩转电脑软件开发(二)

声明:本次教程主要适用于已经习得一门编程语言的程序员。想要学习第二门语言。有梦想,立志做全栈攻城狮的你

8710
来自专栏自由而无用的灵魂的碎碎念

系统上是否可以只共存多个版本visual c++可再发行包最新版的验证结果

最近在添加与删除程序中发现,系统中Microsoft Visual C++ Redistributable Package存在很多版本的,从2005、2008...

18420
来自专栏JarvanMo的IT专栏

[译]Flutter响应式编程:Streams和BLoC

本文主要介绍Streams,Bloc和Reactive Programming(响应式编程)的概念。 理论和实践范例。

87790
来自专栏GreenLeaves

EF基础知识小记一

1、EF等ORM解决方案出现的原因 因为软件开发中分析和解决问题的方法已经接近成熟,然后关系型数据库却没有,很多年来,数据依然是保存在表行列这样的模式里,所以,...

18490
来自专栏http://www.cnblogs.com

员工信息表程序

1.需求 (1).工信息表程序,实现增删改查操作: (2).可进行模糊查询,语法至少支持下面3种: select name,age from staff_...

382110

扫码关注云+社区

领取腾讯云代金券