linux系统被入侵后处理实战

作者 李振良 | 来源 51cto

糖豆贴心提醒，本文阅读时间8分钟，文末有秘密！

事件背景

操作系统：Ubuntu12.04_x64

运行业务：公司业务系统，爬虫程序，数据队列。

服务器托管在外地机房。

突然，频繁收到一组服务器ping监控不可达邮件，赶紧登陆zabbix监控系统查看流量状况。

可见流量已经达到了800M左右，肯定不正常！

马上尝试SSH登陆系统，不幸的是，这种情况是很难登录系统的。

该怎么办？

1、排查问题

当时我的第一反应是想马上切断外部网络，通过内网连接查看。

可是这样一来流量就会消失，也就很难查找攻击源了。

于是联系机房协助解决，授权机房技术登录到系统：

首先通过w命令查看是否有异常用户在登录；

再查看登录日志/var/log/auth.log，预料之中，日志已经清空；

最后使用iftop工具找出占用大量流量的连接。

下图是机房技术给我拍的照：

可以看到本地一直通过http方式向104.31.225.6这个ip发送数据包，而且持续不断。

那好，先把这个ip给屏蔽了试试：

iptables –A OUTPUT –d 104.31.225.6 –j DROP

哇塞！奇迹出现了，流量下去了，能正常连接了。

过一会儿，不幸的事情发生了，流量又上来了！

什么情况！我的心情顿时紧张起来。

又赶紧联系机房技术，执行上次的操作。

下图是当时的情况：

傻眼了，目的ip变了，这可咋搞，不可能一个个封吧！

静下心来，仔细想了下，本地向外发包，那本地肯定会有程序来发！

找到本地程序就能解决了！

2、查找攻击源

首先我使用了netstat工具过滤端口，查看运行的进程ID：

netstat –atup |grep 15773

没有任何结果，更换端口尝试后仍然没有结果。

拜托机房技术大哥观察了下连接状态，原来是短连接，会很快的释放端口，所以才看不到端口的连接状态。

正常长连接来说，可以使用lsof –i :15773这样方式找到PID，再lsof –p PID找到打开的相关文件。

好吧！只好先切断外部网络，内网SSH进入系统，然后找到这个发包的程序。

第一步：通过netstat –antup 查看有无开放可疑的端口或者连接。

第二步：通过ps –ef查看有无可疑的进程。

结果是~

都没有！

难道是植入了rootkit木马程序？！

想要判断系统有没有植入了rootkit可以使用md5sum校验执行文件判断：

先找个同版本操作系统，获取到这个工具执行文件的md5值，再获取可疑的工具执行文件md5值，比较两个值是否相同。

如果相同说明这个工具是可信任的，如果不相同很有可能是被替换的。

另外，一般工具可执行文件大小都在几十K到几百K。

但我没有选择用md5方式来判断工具是否可信任，因为完全相同版本的操作系统并不好找。

我直接使用du –sh /bin/lsof查看，发现大小1.2M，明显有问题。

所以直接下载正常系统里的netstat、ps等工具上传到被黑的系统里使用，再将不可用的替换掉。

3、清理木马程序

完成第二步的操作后，奇迹出现了，执行ps –ef后，发下最下面有几行可疑程序。

本想截图的，可惜SSH客户端给关了，没留下截图。

记忆中，大概是这样的：

pid /sbin/java.log

pid /usr/bin/dpkgd/ps –ef

pid /usr/bin/bsd-port/getty

pid /usr/bin/.sshd

看到这几个，感觉很奇怪，怎么会有个java.log的执行文件在运行呢？

先杀掉并删除再说。

这里就更奇怪了，怎么会有我执行的命令呢？

ps –ef，命令的路径不是/bin/ps，引起了我的怀疑，马上进入此目录下查看。

擦，还有几个，初步判断是工具被替换了。

还有一个怎么叫getty呢，再正常系统里面对比进程，发现没有这个。

宁可错杀一百，也不放过一个！

杀掉进程，删除目录。

这个.sshd进程明显很可疑，可能是ssh后门，先杀掉删除再说！

再执行ps –ef命令看下，奇怪，java.log进程又起来了，难道有自启动设置？

于是到了/etc/init.d下查看，有个异常脚本，在正常系统的也没有，打开看了下，果然是启动木马程序的脚本。

把脚本删除，再删除一次java.log，不再出现了。

删除了/sbin/java.log文件过一会又出现了，估计是getty趁搞的鬼，同样清除，不再自动生成了。

好了，可以开启外网了，观察了一会网络流量不再飙升了，心情有如看到美女一样的愉快！

4、事件总结

ls /usr/bin/dpkgd/ #替换的工具，系统自带的工具正常不会在这个目录下，并且也不可用

netstat lsof ps ss

/sbin/java.log #判断是发包程序，删除后会自动生成

/usr/bin/bsd-port #判断是自动生成java.log或着后门程序

/usr/sbin/.sshd #判断是后门程序

如果还有其他木马程序怎么办？如果是XSS攻击，应用层漏洞入侵怎么办？

针对这些问题，从我们公司角度来说，尽量不重装系统，业务太复杂。找出入侵点，跑的程序多，攻击面多，很棘手。

就先这样吧！兵来将挡，水来土掩。~

被黑客趁机入侵的原因：

1. 运维对网络安全实施落实力度低

2. 没有相关安全测试人员，不能及时发现应用层漏洞

等等...

针对这次攻击，总结了下防护思路：

1. linux系统安装后，启用防火墙，只允许信任源访问指定服务，删除不必要的用户，关闭不必要的服务等。

2. 收集日志，包括系统日志，登录日志，程序日志等，及时发现潜在风险。

3. 针对用户登录实时收集，包括登录时间，密码重试次数以及用户执行命令记录等。

4. 对敏感文件或目录变化进行事件监控，如/etc/passwd、/etc/shadow、/web、/tmp（一般上传文件提权用）等。

5. 进程状态监控，对新增或可疑进程做好记录并通知。

6. 对上线的服务器系统、Web程序进程安全漏洞扫描。

最后，没有绝对的安全，只有尽可能减少攻击面，提供系统防护能力。

网络安全，从我做起！