ELK学习笔记之F5利用ELK进行应用数据挖掘系列(1)-HTTP
ELK学习笔记之F5利用ELK进行应用数据挖掘系列(1)-HTTP
0x00 概述
F5 BIGIP从应用角度位于网络结构的关键咽喉位置，可获取所有应用的流量，针对流量执行L7层处理，即便是TLS加密的流量也可以通过F5进行SSL offload。通过F5可以统一获取所有应用的请求元数据，而不用关心应用是部署在何种系统架构中，这可以大大简化针对不同应用系统进行应用性能分析、日志采集工作。BIGIP TMOS系统提供了多种方法帮助实现统一信息收集，包括：
- HTTP Request logging profile
- DNS logging profile
- Avr
- iRule HSL
- System logging HSL
支持高速信息输出而无需过分担心性能下降。
ELK是一个功能强大的集数据收集、存储、分析、索引、可视化的开源套件，支持多种数据结构输入输出。
本文是系列文章的第一篇，描述如何利用F5 LTM HTTP request logging 功能与ELK进行整合，进行HTTP 应用性能透视与分析。通过数据分析，可以进行诸如：
- HTTP请求类型分布
- URL访问排名
- 同一资源池中各个服务器的http响应延迟
- 单URL的响应延迟
- 访问总请求数
- URL或服务器延迟趋势
- URL或服务器最大最小延迟
- 响应大小分布
- HTTP协议版本分布
- 访问者地理位置跟踪
- HTTP 响应代码分布及趋势
- HTTP响应错误率统计
- L4连接数
- API请求调用延迟
- 重API分布
- API失败率分析
- 请求线路分布
- 。。。。
通过持续获取应性能信息数据，建立应用性能基线。当应用流量突增时，可直观发现突发流量来自于哪里，分布在哪些链路，哪些请求属于热点请求，应用响应延迟变化，趋势，URL/API拥堵情况，服务器性能状态。以及快速增长的URL之间是否存在业务上的前后逻辑，进而可以帮助判别是否为自动化的L7 DDOS等。
0x01 架构原理
F5 LTM通过配置 request logging profile模板输出HTTP请求与响应有关的数据，数据通过F5的High speed logging（HSL)功能直接输出到logstash监听的TCP端口上，Logstash通过使用Grok filter对原始数据进行规则过滤，格式化后的数据输出到elasticsearch服务器，通过kibana程序进行数据整理、可视化输出，下图描述了各功能组件间关系。
0x02 ELK搭建
https://www.myf5.net/post/2489.htm
0x03 LogStash配置文件
https://github.com/myf5/f5-elk-demo/blob/master/loggprofile-logstash-xff_pre-stage.md
0x04 F5侧配置
1. 配置一个pool，用于被logging profile调用，该pool的成员是logstash的服务器地址，端口为上述步骤中logstash启动的端口
2. 配置request logging profile, 只需设置resposne setting部分，request部分不用设定。模板详细内容请参考 https://github.com/myf5/f5-elk-demo/blob/master/loggprofile-logstash-xff_pre-stage.md
3. 配置vs，并应用上述logging profile
4. 访问vs业务，此时所有响应消息将被发送至logstash并被输入到elasticsearch中
0x05 Elastic search集群状态
所有以f5-request开头的类型都是相关request请求数据，数据被分为5个shards，并有一个备份。
0x06 Kibana数据分析
创建一个以f5-request-*为索引条件的pattern
选择正确的搜索时间，可以在discover界面中看到原始数据的输出：
可视化模块的定义
最后组装dashboard进行统一展示：
以上是部分可视化分析样例，通过对原始数据的充分精细加工，可以找到更贴合实际需求的可视化输出。下一篇文章将描述如何利用DNS logging profile建立DNS性能数据透视
更详细信息请访问https://github.com/myf5/f5-elk-demo/