专栏首页JetpropelledSnakeELK学习笔记之F5利用ELK进行应用数据挖掘系列(1)-HTTP

ELK学习笔记之F5利用ELK进行应用数据挖掘系列(1)-HTTP

0x00 概述

F5 BIGIP从应用角度位于网络结构的关键咽喉位置,可获取所有应用的流量,针对流量执行L7层处理,即便是TLS加密的流量也可以通过F5进行SSL offload。通过F5可以统一获取所有应用的请求元数据,而不用关心应用是部署在何种系统架构中,这可以大大简化针对不同应用系统进行应用性能分析、日志采集工作。BIGIP TMOS系统提供了多种方法帮助实现统一信息收集,包括:

  • HTTP Request logging profile
  • DNS logging profile
  • Avr
  • iRule HSL
  • System logging HSL

支持高速信息输出而无需过分担心性能下降。

ELK是一个功能强大的集数据收集、存储、分析、索引、可视化的开源套件,支持多种数据结构输入输出。

本文是系列文章的第一篇,描述如何利用F5 LTM HTTP request logging 功能与ELK进行整合,进行HTTP 应用性能透视与分析。通过数据分析,可以进行诸如:

  • HTTP请求类型分布
  • URL访问排名
  • 同一资源池中各个服务器的http响应延迟
  • 单URL的响应延迟
  • 访问总请求数
  • URL或服务器延迟趋势
  • URL或服务器最大最小延迟
  • 响应大小分布
  • HTTP协议版本分布
  • 访问者地理位置跟踪
  • HTTP 响应代码分布及趋势
  • HTTP响应错误率统计
  • L4连接数
  • API请求调用延迟
  • 重API分布
  • API失败率分析
  • 请求线路分布
  • 。。。。

通过持续获取应性能信息数据,建立应用性能基线。当应用流量突增时,可直观发现突发流量来自于哪里,分布在哪些链路,哪些请求属于热点请求,应用响应延迟变化,趋势,URL/API拥堵情况,服务器性能状态。以及快速增长的URL之间是否存在业务上的前后逻辑,进而可以帮助判别是否为自动化的L7 DDOS等。

0x01 架构原理

F5 LTM通过配置 request logging profile模板输出HTTP请求与响应有关的数据,数据通过F5的High speed logging(HSL)功能直接输出到logstash监听的TCP端口上,Logstash通过使用Grok filter对原始数据进行规则过滤,格式化后的数据输出到elasticsearch服务器,通过kibana程序进行数据整理、可视化输出,下图描述了各功能组件间关系。

0x02 ELK搭建

https://www.myf5.net/post/2489.htm

0x03 LogStash配置文件

https://github.com/myf5/f5-elk-demo/blob/master/loggprofile-logstash-xff_pre-stage.md

0x04 F5侧配置

1. 配置一个pool,用于被logging profile调用,该pool的成员是logstash的服务器地址,端口为上述步骤中logstash启动的端口

2. 配置request logging profile, 只需设置resposne setting部分,request部分不用设定。模板详细内容请参考 https://github.com/myf5/f5-elk-demo/blob/master/loggprofile-logstash-xff_pre-stage.md

3. 配置vs,并应用上述logging profile

4. 访问vs业务,此时所有响应消息将被发送至logstash并被输入到elasticsearch中

0x05 Elastic search集群状态

所有以f5-request开头的类型都是相关request请求数据,数据被分为5个shards,并有一个备份。

0x06 Kibana数据分析

创建一个以f5-request-*为索引条件的pattern

选择正确的搜索时间,可以在discover界面中看到原始数据的输出:

可视化模块的定义

最后组装dashboard进行统一展示:

以上是部分可视化分析样例,通过对原始数据的充分精细加工,可以找到更贴合实际需求的可视化输出。下一篇文章将描述如何利用DNS logging profile建立DNS性能数据透视

更详细信息请访问https://github.com/myf5/f5-elk-demo/

参考

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Python面试题目之(针对dict或者set数据类型)边遍历 边修改 报错dictionary changed size during iteration

     python 遍历一个dict、set类型的同时,并且在改变这个变量的长度或者一边遍历一边修改,这时候就会抛出这错误;

    Jetpropelledsnake21
  • Python入门之面向对象的多态

    本章目录:     一、多态     二、多态性     三、鸭子类型 ============================== 一、多态   多态指的是一...

    Jetpropelledsnake21
  • Python学习笔记之解读Socketserver之Tcpserver

    Jetpropelledsnake21
  • 协议介绍之深入了解 gRPC

    经过很长一段时间的开发,TiDB 终于发了 RC3。RC3 版本对于 TiKV 来说最重要的功能就是支持了 gRPC,也就意味着后面大家可以非常方便的使用自己喜...

    Debian社区
  • 《101 Windows Phone 7 Apps》读书笔记-Alphabet Flashcards

    课程内容 Ø 幻灯片效果的切换     最近有人问我如何来写一个幻灯片的应用程序,在这个应用程序中,他们可以在不同的页面之间切换,就像在Pictures h...

    ShiJiong
  • 大量GitHub用户遭黑客勒索:不交比特币就公开私有代码

    在 GitHub 上托管代码,请保护好自己的账户。近日,一名黑客入侵了大量 GitHub 账户的行动引发了人们的关注,据称他实施的攻击已经删除了很多人们托管的代...

    机器之心
  • Django Rest Framework 版本(上)

    在Django进阶篇 Rest framework (三) 中,有关版本的问题,用 restful 规范做开发接口的时候,用户请求 API,系统返回数据。但是难...

    小团子
  • 【工具】图像处理调试工具(附工具下载!)

    在图像处理时,我们可能需要实时进行调试,有时候需要知道图像每个像素的具体值来帮助我们验证算法的准确性和理解算法思路。 在不同情况下,我们需要使用 Pytho...

    机器视觉CV
  • IBM与Nvidia合作,聚合系统达到每秒120GB的吞吐量,为AI提供强力支持

    开发强大的AI需要功能强大的硬件,IBM与Nvidia为提供这样的支持而合作。两家公司今天共同公开了IBM SpectrumAI与Nvidia DGX,这是一个...

    AiTechYun
  • 想要了解细胞“返老还童”全过程?请扫描染色质上的“二维码” | 黑科技

    镁客网

扫码关注云+社区

领取腾讯云代金券