网络入侵检测系统之Suricata(一)--概览

What is Suricata

• Suricata是一个免费，开源，成熟，高性能，稳定的网络威胁检测引擎
• 系统功能包括：实时入侵检测(IDS)、内联入侵预防(IPS)、网络安全监控(NSM)和离线pcap处理
• Suricata依靠强大的可扩展性的规则和特征语言过滤网络流量，并支持LUA脚本语言
• 输出文件格式为YAML或JSON，方便与其他数据库或安全数据分析平台集成
• Suricata采用社区驱动开发，有利于版本的维护和新特性的迭代

Features

• IDS / IPS

完善的特征语言用于描述已知的威胁和恶意行为，
并兼容Emerging Threats Suricata ruleset（Proofpoint和Intel规则）
和VRT ruleset（snort规则），支持 Barnyard 和 Barnyard2 工具

• High Performance

单个suricata示例可检测千兆网络流量，该引擎基于多线程编码和硬件加速（pf_ring，af_packet）

• Automatic protocol detection

自动对端口协议扫描，有利于发现恶意软件和通信信道

• NSM: More than an IDS

Suricata可记录所有的http请求链接，DNS请求和tls密钥交换，并支持从流中提取信息存储到磁盘中。

• Lua scripting

LUA脚本可以弥补规则集中无法描述的特征

• Industry standard outputs

主要日志输出格式为Eve,即所有的协议事件，警报输出
（可单独指定主机或子网段，可配置全局规则或单独规则），流量记录

• Operation System

Linux、FreeBSD、OpenBSD、macOS / Mac OS X、Windows

• Configuration

YAML作为规则文件格式，可读性好

• TCP/IP engine

支持IPV6,支持隧道解码包括：Teredo、IP-IP、IP6-IP4、IP4-IP6、GRE、
VXLAN、Geneve，支持会话跟踪和流重组，IP分片重组，
支持多种协议解码包括IPv4, IPv6, TCP, UDP, SCTP, ICMPv4, ICMPv6, GRE，Ethernet, 
PPP, PPPoE, Raw, SLL, VLAN, QINQ, MPLS, ERSPAN, VXLAN, Geneve，HTTP, HTTP/2, 
SSL, TLS, SMB, DCERPC, SMTP, FTP, SSH, DNS, Modbus, ENIP/CIP, DNP3, NFS, NTP, 
DHCP, TFTP, KRB5, IKEv2, SIP, SNMP, RDP, RFB, MQTT

• HTTP engine

实现基于libhtp有状态的http解析器，可解析URL,请求和响应首部，cookie，
user-agent，request body and response body，请求方法和状态码，host

• Detection engine

可基于多特征进行检测匹配，包括：协议关键字，正则（Hyperscan），
快速模式和预处理，文件匹配，JA3 / JA3S / HASSH匹配。
规则方面支持实时加载规则而不重启suricata，规则延迟初始化

• Packet acquire

高性能捕获模式：AF_PACKET，PF_RING，NETMAP
标准模式：NFLOG ，PCAP
IPS模式：Netfilter ，NETMAP，AF_PACKET （Linux），ipfw （reeBSD and NetBSD）

• Muti threading

线程支持可配，一个到几十个都可以；互斥操作采用原子函数提高性能；

Architecture

• Packet Capture AF_PACKET and PF_RING通过flow (5 tuple)对称哈希到线程上 RSS技术通过分发到网卡上不同队列来分发流量，但缺点是非对称加密会使类似TCP的双向流量检测有误，所以通常我们配置一个rss队列或用对称哈希算法，并且不启用网卡流量卸载，卸载会会无法跟踪某些流状态，举个配置例子： PF_RING: 1 RSS queue and use cluster-type ‘cluster_flflow’. Disable NIC offlfloading except the rx/tx csum
• Hyperscan

Hyperscan is a high-performance multiple regex matching library， In Suricata it can be used to perform multi pattern matching (mpm).

首先安装一下hyperscan：
apt-get install cmake ragel
​
apt-get install libboost-dev
​
sudo apt-get python-dev libbz2-dev
wget https://dl.bintray.com/boostorg/release/1.66.0/source/boost_1_66_0.tar.gz
tar xvzf boost_1_66_0.tar.gz
cd boost_1_66_0
./bootstrap.sh --prefix=~/tmp/boost-1.66
./b2 install
​
git clone https://github.com/intel/hyperscan
cd hyperscan
mkdir build
cd build
cmake -DBUILD_STATIC_AND_SHARED=1 ../
​
cmake -DBUILD_STATIC_AND_SHARED=1 -DBOOST_ROOT=~/tmp/boost-1.66 ../
​
make
sudo make install

其次默认情况，suricata在编译时没有启用hyperscan， 我们需要显示的编译suricata时加入以下命令：

–with-libhs-includes=/usr/local/include/hs/ –with-libhs-libraries=/usr/local/lib/ 然后再suricata.yaml中修改 mpm-algo and spm-algo values to ‘hs’.

High Performance Confifiguration
If you have enough RAM, consider the following options in suricata.yaml 
detect:
profile: custom
custom-values:
toclient-groups: 200
toserver-groups: 200
sgh-mpm-context: auto
inspection-recursion-limit: 3000

• Statistics 每隔8s中会向stats.log file写入包数数据：

关闭suricata时，也可以看到总的收发包数和丢包数

capture mode不同，显示的数目有可能有差别：

In AF_PACKET mode: • kernel_packets is the number of packets correctly sent to userspace • kernel_drops is the number of packets that have been discarded instead of being sent to userspace In PF_RING mode: • kernel_packets is the total number of packets seen by pf_ring • kernel_drops is the number of packets that have been discarded instead of being sent to userspace

• Ignoring Traffific

1. 可通过配置bpf文件进行忽略某些类型的流量 echo "not host 1.2.3.4" > capture-filter.bpf suricata -i ens5f0 -F capture-filter.bpf 语法类似于：“not (host IP1 or IP2 or IP3 or net NET/24)”或 “ tcp or udp”
2. 或者也可根据suricata规则即可： pass/drop ip 1.2.3.4 any <> any any (msg:"pass all traffic from/to 1.2.3.4"; sid:1;)
3. 设置tls关键字，可以将https握手之后的流量全部放行，不去检测： app-layer.protocols.tls.encryption-handling