专栏首页黑白安全干货 | Linux系统行为新型实时监控技术

干货 | Linux系统行为新型实时监控技术

作者:王建荣

       万物互联和大数据技术的发展,让我们的生活更加活色生香,其背后离不开安全、稳定可靠的服务器系统。

为了保障服务器系统资源能被用户正常使用,避免被恶意行为劫持,我们需要记录服务器系统资源的使用情况、系统行为事件信息和I/O流量等信息,为服务器系统的运维和安全保障工作提供可靠的数据支撑。

这里我们主要是从系统日常行为安全的角度分享一种能满足线上部署、能够将进程或文件创建、网络连接、网络I/O、文件I/O、shell操作、数据库操作、telnet操作、http访问、系统调用(syscall)和系统资源信息等系统相关的行为信息实时采集和存储的Linux行为监控技术。

传统监控技术

现有系统行为监控的实现技术主要采用的是以下方法:

1、Linux Kprobes调试技术

Kprobes调试技术是一种专为Linux内核跟踪和调试而设计的特定API。Kprobes允许内核开发人员为任何内核指令以及函数入口和函数返回处理程序安装预处理程序和后处理程序,这些处理程序可以访问并更改寄存器。这样一来,内核开发者们就可以监控系统调用相关工作流程并簿记。利用Kprobes技术,内核开发人员可以在内核的绝大多数指定函数中动态地插入探测点来收集所需的调试状态信息;关于“调用了哪些系统”、“系统何时被调用”、“执行是否正确以及函数的入参和返回值是什么”等疑惑都可以轻松解决。此外,还能将这些信息屏幕输出或转储日志文件。

2、Linux内核的tracepoints(跟踪点)技术

内核的tracepoint是一种轻量级的hooks技术,使用高效的系统调用行为跟踪及相关性能计算,对系统本身的性能只有微小的时间损失和空间损失。通过注册syscall_enter_probe等定制的probe函数,在发生系统调用相关行为后,内核找到probe函数,并将参数等信息传递给probe函数。只要将probe函数中记录的相关行为信息输出,即可达到监控目的。

在现有的Linux系统行为监控工具中,采用Linux Kprobes调试技术、Linux内核的tracepoints(跟踪点)技术的工具有:strace、ftrace、tcpdump、lsof、htop、iftop、systemTap、perf……

以上的工具通常只能作为日常内核开发调试或日常运维分析工具来使用,主要用于开发调试或问题定位等简单的信息输出。然而,这些工具存在一些使用缺陷,可以总结为以下几点:

1、仅适用于内核开发人员调试使用或是运维人员在现场开启使用,各工具特点不一,难以满足系统全面监控的需求。

2、没有提供行为数据的良好存储能力,只提供简单的输出或是日志存储。由于没有数据缓存功能,容易造成行为数据的丢包,不能很好地支撑事后数据回放或分析。

3、不能进行线上运行的实时部署,只能在事后或事中开启,无法满足运维或安全监控的自动化要求。在高吞吐、高并发的服务器上,增加了服务器运行的负担。

新型实时监控缓存技术方案

针对现有技术无法满足线上实时部署、影响服务器性能、行为数据不具备良好的存储和缓存功能等缺陷,我们给大家分享一种具备实时监控和缓存功能的技术方案。

该方案主要是采用分层结构的模型进行架构的,具体分为内核probe层、基于内存映射mmap技术的buffer层、基于本地数据库的用户态缓存层。具体结构如下图:

业务流程描述

下面通过一个具体的系统行为事件信息采集-缓存的例子,来说明这三层之间的业务流关系:

首先,当用户发起网络连接服务主机操作,在服务主机系统中将发生socket accpet系统调用中断,服务进程陷入内核态,进入系统调用例程。

其次,通过Linux内核tracepoints机制,内核查找系统调用tracepoint的probe函数;此时,内核查到已经挂载的内核probe层的probe函数,并将相应accpet系统调用参数信息传入probe函数。

接下来,内核probe层的probe函数将传来的系统调用相关信息进行分类、序列化处理后,将相关参数信息转化为系统行为事件信息写入mmap buffer层。

最后,用户态缓存层进程通过mmap映射技术,从mmap buffer层读取具体的系统行为事件信息,将系统行为事件信息再次格式化为易于阅读和分析的字符串信息,并选择一种本地或分布式的缓存技术,持久化存储系统行为事件信息。

通过上述业务流程的分析,可以概括出上述三层主体功能分别为:内核probe层采集系统调用信息、mmap buffer层转化系统行为事件信息、用户态缓存层持久化系统行为事件信息。如下图所示:

技术亮点

通过上文的概述,本方案与目前现有工具或方案的主要区别在于本方案体现了以下两方面:实时性、缓存持久化。

1.实时性

“实时性”就是指系统操作行为(系统调用)信息能够实时感知,“零损耗”地对信息进行采集。

我们知道系统行为信息的采集是由“内核probe层”完成的,在该层中主要也是采用了Linux内核字符设备驱动技术+Linux tracepoints机制。通过开发Linux内核字符设备驱动来驱动probe模块,在probe模块中挂载tracepoint函数,采集各系统调用的相关信息。

为了实现系统调用信息从内核probe层到用户态缓存层的“Zero copy”高效传递,在probe层与用户态缓存层采用了Linux内核驱动与用户态进程实现地址共享的mmap buffer 技术方案。

2.缓存持久化

经过内核probe层采集的系统行为事件信息存放在mmap buffer层中,为了实时高效地将这些事件信息持久化存储,本方案采用了一种开源高效的本地文件数据库引擎,该引擎占用资源少、无需安装和管理配置、数据吞吐率每秒可达上万条记录。这样轻型的持久化模块,可以通过“零损耗”的方式部署到线上服务器,而不占用服务器资源。

从mmap buffer层中读取到系统行为事件信息,在用户态缓存层还可以根据具体业务的要求,做一些数据处理分析,如格式化、过滤等。最终存放到文件数据库中,从而实现系统行为事件信息的持久化缓存。具体流程如图:

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Alphabet 的 Project Shield 扩展至保护政治团体免受 DDoS 攻击

    Alphabet 旗下的 Project Shield 是个提供免费 DDoS 保护服务的计划,但过去就只有开放予新闻组织申请,不过今天他们就宣布服务范围推展至...

    周俊辉
  • 谷歌云又瘫痪:因新功能 bug 被触发

    由于谷歌云平台出现了问题,昨天多个热门在线服务遇到了停机或响应缓慢的现象。经谷歌确认,它的许多工具出现了问题,而Discord、Spotify和Snapchat...

    周俊辉
  • 让网站变成灰色

    一般在清明节,全国哀悼日,大地震的日子,以及一些影响力很大的伟人逝世或纪念日的时候,身为站长的我们都会让自己的网站的全部网页变成灰色(黑白色),以表示我们对逝者...

    周俊辉
  • 实现存储的几种方式

    Cookie是服务器发送到用户浏览器并保存在本地的一小块数据。cookie一般由后端设置,并通过response流发送给前端并设置过期时间。

    Cloud-Cloudys
  • 对话颜水成:挥别 360,出任依图 CTO,我在思考什么

    AI 科技评论消息,原360集团副总裁、人工智能研究院院长颜水成教授的去向终于尘埃落定:正式作别360,加盟依图,出任CTO。

    AI科技评论
  • 浅谈大型Web系统架构

    动态应用,是相对于网站静态内容而言,是指以c/c++、php、Java、perl、.net等服务器端语言开发的网络应用软件,比如论坛、网络相册、交友、BLOG等...

    用户1257215
  • Java程序员该如何突破瓶颈,成长为优秀的架构师

    Java高级架构
  • 程序员懊恼面试被屡次遭拒,网友:38岁了心里没点逼数吗?

    程序员面试的三道坎,学历、工作经验、年龄。前两者倒也还好,而年龄这个标准始终是程序员们卡在喉咙上的一根刺,不知何时会突然扎穿喉咙,了断性命。现在互联网行业日益趋...

    JAVA高级架构开发
  • 2020-1-9-为什么JavaScript需要hoisting

    不知道同学们在学习JavaScript时,有没有对JavaScript的“提升”(hoisting)这个概念感到困惑。

    黄腾霄
  • windows下的C++ socket服务器(1)

    windows下的一个C++ socket服务器,用到了C++11的相关内容,现在还不是很完善,以后会不断改进的! #include <winsock2.h>/...

    magicsoar

扫码关注云+社区

领取腾讯云代金券