专栏首页糖果的实验室用LUA字典进行IP数据去重操作

用LUA字典进行IP数据去重操作

因为业务需要,监控手机客户端对服务器在一分钟内请求的总数和IP访问量(求PV、IP数),要对IP数据进行去重操作,单位时间1分钟的HTTP请求,IP相同的只保留一个IP,少用IF,多用循环。利用Lua语言Table数据结构Key的唯一性,不能重复的特点进行去重操作,代码如下:

Moonscript实现:

Lua实现:

如果此方案有坑,望请大家留言。

与正文不相关的部分(可以忽略不看):

实际上为了简单,我们统计IP总数,并没有统计IP对应的出现次数,如果保存了 IP和IP出现的次数,其实就可以统计单位一分钟内某IP访问的频次,在实际业务当中,一个IP的请求次数是有一定的取值范围的,高出合格峰值很多的话,这个IP是应该被关注,后续可以将上面的方法,进行扩展,实时统计出IP请求量, 与设定的预警值进行比较,如果发现总请求次数与总IP数据过高,发出预警。

也可以将前Top10-100名IP请求的数,进行饼图可视化显示。

本文分享自微信公众号 - 糖果的实验室(mycandylab),作者:糖果LUA

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-01-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 使用LUA对大批量IP数据进行IP频次统计

    上次我们利用LUA的表数据结构的特性,对IP数据进行去重的操作,接下来的是更进一步对数据进行统计,统计出数每个IP出现的频次,然后对出重之后的数据进行排序,得出...

    糖果
  • 主机被植入木马后的应急响应思路

    又是一个风和日丽的下午,姜老师发了一张图。是一个系统进程的截图。赫然在目一个看起来命名很随便的一个进程名,很轻浮。

    糖果
  • 时代新秀golang--golang加密算法之DES

    业务需要对接接口, 采用DES加密方式加密, 于是google一下go的DES加密方式,

    糖果
  • 如何绕过cdn获取网站真实ip进行测试?

    一般网站会使用cdn进行防御,我们访问时会经过cdn然后再经过源站服务器,这样我们进行渗透测试时很容易被拦截。而在这里,我们的思路是这样的:通过找到源站ip之后...

    网e渗透安全部
  • 协议森林05 我尽力 (IP协议详解)

    作者:Vamei 出处:http://www.cnblogs.com/vamei 严禁任何形式转载。 在粗略了解了IP接力和IP地址后,我们再反过来,看一看IP...

    Vamei
  • IP为什么被Locked?

    在Vivado下使用IP时,有时会发现IP处于被Locked的状态,如下图所示。这个报告是由命令report_ip_status生成。可以看到,一旦IP被锁定,...

    Lauren的FPGA
  • copy_ip你用过吗?

    在Vivado工程中使用IP是非常常见的情形,而且还会出现同一个IP被多次使用。例如,设计中需要用到4个单端口RAM,其区别仅仅是深度或宽度(数据位宽)不一样,...

    Lauren的FPGA
  • 如何修改Xilinx IP中文件的只读属性?

    不知道大家有没有遇到过一个问题,就是你想修改xilinx IP中的某些代码,或者想通过debug进一步了解这些代码时,但是发现它不支持修改的,是read-onl...

    瓜大三哥
  • 【科普】静态IP和动态IP有什么区别?

    动态IP和静态IP的区别在于:动态IP需要在连接网络时自动获取IP地址以供用户正常上网,而静态IP是ISP在装机时分配给用户的IP地址,可以直接连接上网,不需要...

    青果网络
  • 分享-python爬虫遇到封IP+验证码+登陆限制,如何解决?

    现在国家在鼓励做大数据、全面进行数字化中国建设,很多企业包括很多有前瞻性的创业人都开始进军大数据,各种根据自己的擅长领域开始储备数据源,我们需要做大数据第一步就...

    孔雀

扫码关注云+社区

领取腾讯云代金券