linux系统被入侵后处理实战

作者 李振良 | 来源 51cto

糖豆贴心提醒,本文阅读时间8分钟,文末有秘密!

事件背景

操作系统:Ubuntu12.04_x64

运行业务:公司业务系统,爬虫程序,数据队列。

服务器托管在外地机房。

突然,频繁收到一组服务器ping监控不可达邮件,赶紧登陆zabbix监控系统查看流量状况。

可见流量已经达到了800M左右,肯定不正常!

马上尝试SSH登陆系统,不幸的是,这种情况是很难登录系统的。

该怎么办?

1、排查问题

当时我的第一反应是想马上切断外部网络,通过内网连接查看。

可是这样一来流量就会消失,也就很难查找攻击源了。

于是联系机房协助解决,授权机房技术登录到系统:

首先通过w命令查看是否有异常用户在登录;

再查看登录日志/var/log/auth.log,预料之中,日志已经清空;

最后使用iftop工具找出占用大量流量的连接。

下图是机房技术给我拍的照:

可以看到本地一直通过http方式向104.31.225.6这个ip发送数据包,而且持续不断。

那好,先把这个ip给屏蔽了试试:

iptables –A OUTPUT –d 104.31.225.6 –j DROP

哇塞!奇迹出现了,流量下去了,能正常连接了。

过一会儿,不幸的事情发生了,流量又上来了!

什么情况!我的心情顿时紧张起来。

又赶紧联系机房技术,执行上次的操作。

下图是当时的情况:

傻眼了,目的ip变了,这可咋搞,不可能一个个封吧!

静下心来,仔细想了下,本地向外发包,那本地肯定会有程序来发!

找到本地程序就能解决了!

2、查找攻击源

首先我使用了netstat工具过滤端口,查看运行的进程ID:

netstat –atup |grep 15773

没有任何结果,更换端口尝试后仍然没有结果。

拜托机房技术大哥观察了下连接状态,原来是短连接,会很快的释放端口,所以才看不到端口的连接状态。

正常长连接来说,可以使用lsof –i :15773这样方式找到PID,再lsof –p PID找到打开的相关文件。

好吧!只好先切断外部网络,内网SSH进入系统,然后找到这个发包的程序。

第一步:通过netstat –antup 查看有无开放可疑的端口或者连接。

第二步:通过ps –ef查看有无可疑的进程。

结果是~

都没有!

难道是植入了rootkit木马程序?!

想要判断系统有没有植入了rootkit可以使用md5sum校验执行文件判断:

先找个同版本操作系统,获取到这个工具执行文件的md5值,再获取可疑的工具执行文件md5值,比较两个值是否相同。

如果相同说明这个工具是可信任的,如果不相同很有可能是被替换的。

另外,一般工具可执行文件大小都在几十K到几百K。

但我没有选择用md5方式来判断工具是否可信任,因为完全相同版本的操作系统并不好找。

我直接使用du –sh /bin/lsof查看,发现大小1.2M,明显有问题。

所以直接下载正常系统里的netstat、ps等工具上传到被黑的系统里使用,再将不可用的替换掉。

3、清理木马程序

完成第二步的操作后,奇迹出现了,执行ps –ef后,发下最下面有几行可疑程序。

本想截图的,可惜SSH客户端给关了,没留下截图。

记忆中,大概是这样的:

pid /sbin/java.log

pid /usr/bin/dpkgd/ps –ef

pid /usr/bin/bsd-port/getty

pid /usr/bin/.sshd

看到这几个,感觉很奇怪,怎么会有个java.log的执行文件在运行呢?

先杀掉并删除再说。

这里就更奇怪了,怎么会有我执行的命令呢?

ps –ef,命令的路径不是/bin/ps,引起了我的怀疑,马上进入此目录下查看。

擦,还有几个,初步判断是工具被替换了。

还有一个怎么叫getty呢,再正常系统里面对比进程,发现没有这个。

宁可错杀一百,也不放过一个!

杀掉进程,删除目录。

这个.sshd进程明显很可疑,可能是ssh后门,先杀掉删除再说!

再执行ps –ef命令看下,奇怪,java.log进程又起来了,难道有自启动设置?

于是到了/etc/init.d下查看,有个异常脚本,在正常系统的也没有,打开看了下,果然是启动木马程序的脚本。

把脚本删除,再删除一次java.log,不再出现了。

删除了/sbin/java.log文件过一会又出现了,估计是getty趁搞的鬼,同样清除,不再自动生成了。

好了,可以开启外网了,观察了一会网络流量不再飙升了,心情有如看到美女一样的愉快!

4、事件总结

ls /usr/bin/dpkgd/ #替换的工具,系统自带的工具正常不会在这个目录下,并且也不可用

netstat lsof ps ss

/sbin/java.log #判断是发包程序,删除后会自动生成

/usr/bin/bsd-port #判断是自动生成java.log或着后门程序

/usr/sbin/.sshd #判断是后门程序

如果还有其他木马程序怎么办?如果是XSS攻击,应用层漏洞入侵怎么办?

针对这些问题,从我们公司角度来说,尽量不重装系统,业务太复杂。找出入侵点,跑的程序多,攻击面多,很棘手。

就先这样吧!兵来将挡,水来土掩。~

被黑客趁机入侵的原因:

1. 运维对网络安全实施落实力度低

2. 没有相关安全测试人员,不能及时发现应用层漏洞

等等...

针对这次攻击,总结了下防护思路:

1. linux系统安装后,启用防火墙,只允许信任源访问指定服务,删除不必要的用户,关闭不必要的服务等。

2. 收集日志,包括系统日志,登录日志,程序日志等,及时发现潜在风险。

3. 针对用户登录实时收集,包括登录时间,密码重试次数以及用户执行命令记录等。

4. 对敏感文件或目录变化进行事件监控,如/etc/passwd、/etc/shadow、/web、/tmp(一般上传文件提权用)等。

5. 进程状态监控,对新增或可疑进程做好记录并通知。

6. 对上线的服务器系统、Web程序进程安全漏洞扫描。

最后,没有绝对的安全,只有尽可能减少攻击面,提供系统防护能力。

网络安全,从我做起!


原文发布于微信公众号 - 马哥Linux运维(magedu-Linux)

原文发表时间:2017-03-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏魏艾斯博客www.vpsss.net

域名和空间是什么关系

1.1K50
来自专栏FreeBuf

DarkHydrus使用Phishery在中东地区窃取凭证

在上周,Unit 42发表了一个篇关于介绍一个名为DarkHydrus的新威胁组织的博文,我们观察到该组织的目标是位于中东地区的政府实体。在这篇文章中,我们对通...

6920
来自专栏安恒信息

Hacking Team 病毒测试环境分析

0x00 前言 安恒研究团队在Hacking Team泄露的文件中除了发现大量的后门、木马等攻击的源码,还发现了两个用于病毒安全性测试的源代码,分别是test...

40450
来自专栏IT技术精选文摘

LVS集群的体系结构

1.引言 在过去的十几年中,Internet从几个研究机构相连为信息共享的网络发展成为拥有大量应用和服务的全球性网络,它正成为人们生活中不可缺少的 一部分。虽...

27880
来自专栏FreeBuf

没有外部工具,如何快速发现Windows中毒了

从事应急响应工作几年之后,我认为总结一份快速确定计算机是否被感染木马和病毒的“方法论”是十分有用的。这显然不是那么简单的,可我却发现感染几乎存在于所有不复杂的攻...

22550
来自专栏信安之路

线下赛ASP靶机漏洞利用分析

继上次发表 记一次线下赛靶机攻击过程 后,看到反响不错,特此再写一篇,关于一台 ASP 靶机漏洞利用过程。

53400
来自专栏知晓程序

小程序谁都能注册?Naive!| 小程序问答 #31

那么,哪些个人或者组织,才能注册小程序呢?每个人、每个组织,又可以注册多少个小程序呢?

17790
来自专栏黑白安全

美国 Comcast 网站因漏洞泄露 Xfinity 路由器的客户数据

两名研究人员近日发现美国用于激活 Xfinity 路由器的 Comcast 网站会泄露用户的敏感信息。Concast 网站主要用于建立家庭互联网和有线电视服务,...

20620
来自专栏小文博客

Android平台渗透测试套件zANTI v2.5发布(含详细说明)

52820
来自专栏性能与架构

CC攻击的原理与防护

什么是CC攻击 CC攻击(Challenge Collapsar)是DDOS(分布式拒绝服务)的一种,是一种常见的网站攻击方法,攻击者通过代理服务器或者肉鸡向...

1.6K50

扫码关注云+社区

领取腾讯云代金券